绝区陆--大语言模型的幻觉问题是如何推动科学创新

介绍

大型语言模型 (LLM)(例如 GPT-4、LLaMA-2、PaLM-2、Claude-2 等)已展示出为各种应用生成类似人类文本的出色能力。然而,LLM 的一个鲜为人知的方面是它们倾向于“产生幻觉”或生成不正确或没有根据的事实陈述。我不认为这仅仅是一个限制,我认为,如果得到正确引导,LLM 幻觉实际上可以帮助激发新的科学发现和编码创新。

让我来解释一下大语言模型幻觉的自由特性如何让他们能够建立人类大脑可能无法建立的横向联系。研究人员开始向大语言模型提出科学难题和问题,看看他们能想出什么非常规的解决方案。虽然大多数输出​​可能毫无意义,但一些想法可以提供有希望的新研究方向。

作为一名软件开发人员和工程师,我将特别关注如何促使大语言模型 (LLM) 集思广益,想出解决编码问题的创新方法。他们不受约束的幻想可能会产生新的算法、数据结构、架构和编程范例。我将提供大语言模型 (LLM) 在被要求解决复杂挑战时可能编写的富有想象力的代码示例。

大语言模型幻觉的力量

但首先,为什么 LLM 幻觉具有如此大的创造潜力?当 LLM 接受大量文本数据集的训练时,它们会发展出一种令人印象深刻的能力,能够以非常像人类的方式继续讨论任何主题的段落。然而,与人类不同,LLM 并不真正理解它们生成的内容。它们没有现实世界知识或常识的基础。

因此,大语言模型可以自信地讨论实际上并不存在的概念、人物、地点和事件。例如,GPT-4 可以令人信服地描述一个它完全虚构的国家的地理。细节似乎足够连贯,直到你意识到它没有任何事实依据。

对于大多数应用来说,这些事实幻觉是大语言模型的一大缺点。但一些研究人员正在探索大语言模型生成文本不受控制、不受约束的性质是否也能释放出不同寻常的创造力。正因为 GPT-4 不知道幻想和现实之间的区别,它的想象力是无限的。不受关于什么是可能的或科学有效的先入为主的观念的束缚,GPT-4 可以抛出人类会自我审查的非常规假设和解决方案。

当然,LLM 并不真正理解科学,在被要求解决复杂问题时,他们给出的大多是胡言乱语。但在这些混乱中,一些研究人员认为,偶尔也会有一些精彩的提示,它们可以表明人类专家可能没有考虑到的有前途的新研究方向。诀窍在于设计有效的提示,以有效地激发 LLM 的想象力,同时过滤掉那些让人产生幻觉的废话。在太狭窄(限制 LLM 的创造力)和太开放(引发胡言乱语)之间可能存在一个最佳的提示点。

幻覺創意代碼

作为一名开发人员和工程师,我特别兴奋于利用 LLM 幻觉来激发解决编码问题的创新方法的可能性。现有的程序合成技术可以自动化简单的编码,但它们利用了狭义约束内的模式识别。LLM 幻觉提供了一些新的东西:人类程序员可能永远不会想到的不同代码概念。

例如,假设我提示 GPT-4:“编写一种新型压缩算法的伪代码,以比 B 帧或 P 帧更有效地缩小视频文件大小。重点关注关键数据结构和逻辑流程。”

LLMs 并不真正了解视频压缩或编码最佳实践。但摆脱了先入为主的观念后,它可能会幻化出令人惊讶的创造性伪代码。也许它利用了一种非常规的预测模型。或者它想出了一种人类程序员不会想到的递归数据转换。同样,大多数输出​​可能毫无用处,但 LLMs 幻觉的绝对范围增加了偶然发现有希望的东西的机会。

与人类程序员不同,LLM 可以快速生成并测试心智模型,且不会有任何风险,这可能会带来富有成效的路径,而人类可能会过早地拒绝这些路径,因为它们太过不合常规。这种能力可以扩展到编码领域。我们可以促使 LLM 产生幻觉,想象出新颖的加密技术、更优雅的数据结构、更快的搜索/排序算法、创造性的 Web 框架或革命性的编程语言。

欺骗的风险

当然,如果我们过于依赖 LLM 幻觉,也会有风险。由于缺乏现实世界的基础,LLM 在讨论它实际上并不理解的概念时听起来很有说服力。如果我们将 GPT-4 中的每个幻觉代码想法都视为合理的,我们可能会浪费时间追逐海市蜃楼。

例如,在提示 GPT-4 提出一种新颖的加密货币系统后,它可能会使用奇特的加密和创造性的去中心化验证方法生成代码。从表面上看,其幻觉加密货币在技术上似乎很合理。但如果没有对分布式系统或经济学的扎实理解,GPT-4 的建议如果实施,很可能会失败。它的代码通过了“嗅探测试”,只是因为 GPT-4 的胡说八道能力太强了!

因此,尽管 GPT-4 不受约束的想象力具有创造潜力,但我们需要进行严格的筛选,以确定其众多幻觉想法中哪些值得进一步探索。对于科学发现,我们仍然需要通过实验仔细测试 LLM 假设的可行性。对于编码,我们需要实际尝试实现 GPT-4 算法和数据结构,以评估它们的实际性能和可扩展性。

大语言模型合作伙伴

我认为 LLM 最大的价值在于充当一个始终存在的自动化头脑风暴伙伴。我们可以给它提供源源不断的编码挑战和提示变化,以刺激其幻觉输出。在此过程中,LLM 可以激发我们独自无法获得的人类洞察力。

我们不应该将 LLM 视为可以处理问题的自主系统,而应该在 LLM 和人类专家之间建立紧密的反馈循环。我们提示 GPT-4,处理结果,识别有希望的部分,再次提示 GPT-4 完善某些概念,过滤并重复。这构建了新的混合人类-LLM 发现过程,我们才刚刚开始探索。

头脑风暴会议示例

场景:我是一家对冲基金的数据工程师,该基金采用复杂的机器学习算法来指导我们的交易策略。数据科学团队依靠我来汇总市场数据流、实施管道并在云端管理我们的大数据基础设施。

然而,我们当前的数据仓库和数据湖难以跟上来自市场、替代数据源和我们自己的投资组合分析的金融时间序列数据的爆炸式增长。我们的管道无法以足够快的速度提取和处理数据以进行机器学习训练。

我决定选择 GPT-4 大脑来获得满足算法金融对速度、多样性和数量需求的创造性数据架构理念。

头脑风暴会议 我:“GPT-4,我需要一个创新的大数据蓝图来处理大量、高速率的金融数据馈送,这些数据将动态地为交易模型提供信息。细节对时间非常敏感。概述一种完全针对速度和灵活性进行优化的方法。”

GPT-4:“这听起来像是云端 Lambda 架构的一个很棒的应用!结合流和批处理路径,我们可以实现低延迟提取,同时仍支持历史回测。”

Lambda 架构让我想起了领域驱动设计的事件源……也许我们可以围绕来自不同市场的事件流来构建它?

我:“很好,我喜欢 Lambda 的想法!既然金融围绕市场事件而展开,如果我们在事件流主干上构建它会怎么样?比如在不同的数据域(交易、订单、交易等)中遵循事件源模式。有什么创新建议吗?”

GPT-4:“喜欢事件源概念——它很自然!我们可以将所有市场数据视为来自不同领域的时间事件日志流。一些关键创新:

  1. 使用集成的 Apache Kafka 生态系统(Kafka、Kafka Connect、KSQL)进行事件提取、代理和流处理。
  2. 数据作为事件让我们能够利用事件驱动的微服务架构进行扩展和发展。
  3. 对于机器学习,Kafka 流式传输使实时/持续的模型训练保持反应能力。
  4. 使用 Kafka 时间窗口、时间戳、水印对事件流进行分区,以进行历史回溯测试。
  5. 随着事件模式的发展,实施 Kafka Schema Registry 进行集中验证和版本控制。”

GPT-4 详细介绍了这个事件流平台,我越来越兴奋了!它完美地契合了我们实时、基于时间轴的数据挑战,同时为批量/历史建模敞开了大门。我迫不及待地想把它充实成一个久经考验的金融数据网格,我们可以无限制地扩展。我们的战略家会喜欢这个的。

关键要点

总而言之,虽然大语言模型没有扎实的知识或推理能力,但它们不受约束的幻想倾向确实提供了不同寻常的创造潜力。通过在人类专家和大语言模型之间建立紧密的反馈回路,我们可以激发任何一方都无法独立实现的新发现。大语言模型提供丰富的想象力,而人类提供批判性分析。

我尤其热衷于鼓励大语言模型提出富有想象力的方法来解决棘手的编码难题。大语言模型摆脱了先入为主的观念,可能会想到人类无法想到的非传统算法、数据结构、架构和范例。它还允许通过生成大量伪代码来快速进行原型设计。

当然,我们需要严格筛选,以确定大语言模型的众多幻想想法中哪些在技术上是可行的,值得实施。只有一小部分可能被证明是可行的,但这些稀有的宝石可以开辟有前途的新研究方向。随着时间的推移,随着我们通过对哪些可行和哪些失败的反馈来建立大语言模型的知识库,信噪比可能会大幅提高。

因此,尽管大型语言模型幻觉显然存在缺点,但我相信我们只触及了其创造潜力的表面。通过建立紧密的人机-LLM 协作循环,我们可以突破发现的界限!

创作不易,觉得不错的话,点个赞吧!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/42879.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

快速排序算法Python实现

快速排序原理和步骤 快速排序是一种高效的排序算法,基于分治法(Divide and Conquer)来实现。其基本思想是通过一次排序将数组分成两部分,其中一部分的所有元素都小于另一部分,然后递归地对这两部分进行排序。以下是快…

前端构建工具(webpackvite)

这里写目录标题 构建工具webpack介绍配置文件简介entryoutputloaderbabel插件开发服务器(webpack-dev-server)soureMap vite 构建工具 当我们习惯了在node中编写代码的方式后,在回到前端编写html、css、js这些东西会感觉到各种的不便。比如:…

夏季户外综合征怎么预防

以下是一些预防夏季户外综合征的有效方法: 做好防晒措施: 涂抹高倍数的防晒霜,每隔 2 - 3 小时重新涂抹一次。比如选择 SPF50、PA 的防晒霜。佩戴宽边帽子、太阳镜和遮阳伞,减少阳光直射面部和眼睛。像渔夫帽、大檐帽能有效遮挡阳…

12-阿里云单细胞处理-PBMC(by-jmzeng)

scRNA_10X/seurat-v2/sup-patient1-PBMC.Rmd at master jmzeng1314/scRNA_10X (github.com) s04-运行seurat流程处理一万个单细胞转录组数据并自动化出报告_哔哩哔哩_bilibili #section 3已更新#「生信技能树」单细胞公开课2021_哔哩哔哩_bilibili 上传读取数据 可以配置租…

模拟型题目

题目类型: 给定操作,允许操作任意次 思路收集: 1.暴力遍历:如Problem - B - Codeforces 直接让每一个不同的进行操作 2.归纳:根据模拟来发现规律

RTK_ROS_导航(4):ROS中空地图的生成与加载

1. 地图加载 构建空白 Map 如下,以下为python代码,生成了output_image.pgm 文件 一般你在什么地方运行该代码,这个文件就生成在什么地方 import numpy as np size = 100 # 单位:m resulition = 0.05 # 单位:mw = round(size / resulition) IMAGE_DATA = np.zeros((w

ChatGPT:Swagger 的疑问

ChatGPT:Swagger 的疑问 这段代码是做什么的,为什么每个微服务的写法都一样 springdoc:api-docs:enabled: true # 1. 是否开启 Swagger 接文档的元数据path: /v3/api-docsswagger-ui:enabled: true # 2.1 是否开启 Swagger 文档的官方 UI 界面path: /sw…

音视频解封装demo:使用libmp4v2解封装(demux)出mp4文件中的h264视频数据和aac语音数据

1、README 前言 本demo是使用的mp4v2来将mp4文件解封装得到h264、aac的,目前demo提供的.a静态库文件是在x86_64架构的Ubuntu16.04编译得到的,如果想在其他环境下测试demo,可以自行编译mp4v2并替换相应的库文件(libmp4v2.a&#…

HTTP 范围Range请求

HTTP 的 Range 请求使客户端能够要求服务器仅向其回传 HTTP 消息的一部分 HTTP 的 Range 请求头是 HTTP/1.1 协议的一个特性。它允许客户端请求仅传输资源的某个特定部分,而不是整个资源。 适用场景 支持随机访问的媒体播放器明确只需大型文件某部分的数据处理工具…

2022 RoboCom 世界机器人开发者大赛-高职组(国赛):智能管家

人上了年纪,记性就会变差,时常不得不翻箱倒柜找东西。智能照护中心现在请你做一个简单的智能管家程序,把老人家里的东西逐一编号,放进若干个收纳箱里。当然收纳箱也是有编号的,你的程序要记录下哪个东西放在哪个收纳箱…

R包: phyloseq扩增子统计分析利器

介绍 phyloseq包对多类型数据的综合软件,并其对这些数据提供统计分析和可视化方法。 微生物数据分析的主要挑战之一是如何整合不同类型的数据,从而对其进行生态学、遗传学、系统发育学、多元统计、可视化和检验等分析。同时,由于同行之间需要…

QT学习日记一

创建QT文件步骤 这是创建之后widget.cpp和widget.h文件的具体代码解释,也是主要操作的文件,其中main.cpp不用操作,ui则是图形化操作界面,综合使用时,添加一个元件要注意重编名和编译一下,才能在widget这类…

生产者消费者模型和线程同步问题

文章目录 线程同步概念生产者消费者模型条件变量使用条件变量唤醒条件变量 阻塞队列 线程同步概念 互斥能保证安全,但是仅有安全不够,同步可以更高效的使用资源 生产者消费者模型 下面就基于生产者消费者来深入线程同步等概念: 如何理解生产消费者模型: 以函数调用为例: 两…

[高频 SQL 50 题(基础版)]第一千七百五十七题,可回收且低脂产品

题目: 表:Products ---------------------- | Column Name | Type | ---------------------- | product_id | int | | low_fats | enum | | recyclable | enum | ---------------------- product_id 是该表的主键(具有唯…

SQLite 命令行客户端 + HTA 实现简易UI

SQLite 命令行客户端 HTA 实现简易UI SQLite 客户端.hta目录结构参考资料 仅用于探索可行性&#xff0c;就只实现了 SELECT。 SQLite 客户端.hta <!DOCTYPE html> <html> <head><meta http-equiv"Content-Type" content"text/html; cha…

C语言 | Leetcode C语言题解之第226题翻转二叉树

题目&#xff1a; 题解&#xff1a; struct TreeNode* invertTree(struct TreeNode* root) {if (root NULL) {return NULL;}struct TreeNode* left invertTree(root->left);struct TreeNode* right invertTree(root->right);root->left right;root->right le…

LeetCode加油站(贪心算法/暴力,分析其时间和空间复杂度)

题目描述 一.原本暴力算法 最初的想法是&#xff1a;先比较gas数组和cost数组的大小&#xff0c;找到可以作为起始点的站点(因为如果你起始点的油还不能到达下一个站点&#xff0c;就不能作为起始点)。当找到过后&#xff0c;再去依次顺序跑一圈&#xff0c;如果剩余的油为负数…

从数据仓库到数据湖(下):热门的数据湖开源框架

文章目录 一、前言二、Delta Lake三、Apache Hudi四、Apache Iceberg五、Apache Paimon六、对比七、笔者观点八、总结八、参考资料 一、前言 在上一篇从数据仓库到数据湖(上)&#xff1a;数据湖导论文章中&#xff0c;我们简单讲述了数据湖的起源、使用原因及其本质。本篇文章…

Rust入门实战 编写Minecraft启动器#4下载资源

首发于Enaium的个人博客 首先我们需要添加几个依赖。 model { path "../model" } parse { path "../parse" } reqwest { version "0.12", features ["blocking", "json"] } file-hashing { version "0.1&quo…

Xshell 和宝塔有啥区别

Xshell 和宝塔是两种不同类型的工具&#xff0c;具有以下显著区别&#xff1a; 1. 功能和用途 Xshell&#xff1a;主要是一款用于远程连接服务器的终端模拟软件。它允许用户通过 SSH 协议安全地连接到远程服务器&#xff0c;并在终端中执行命令&#xff0c;进行服务器的管理和…