📳博弈论让 AI 更加正确、高效,LLM 与自己竞争
研究团队设计了共识博弈,通过让语言模型的生成器和判别器相互博弈来提高模型的准确性和内部一致性。这种方法不需要对基础模型进行训练或修改,可以在笔记本电脑上快速执行。研究结果表明,通过游戏可以提高语言模型的性能和内部一致性,使其更有可能给出相同的答案。未来,博弈论的应用将使语言模型能够处理更复杂的交互,而不仅仅是简单的问答类型问题。
🔗
📳人类偏好就是尺!SPPO对齐技术让大语言模型左右互搏、自我博弈
文章介绍了自我博弈偏好优化(SPPO)方法,旨在通过自我博弈框架优化大语言模型的行为以更好符合人类偏好。该方法不需额外微调数据,通过自我博弈大幅提升了大语言模型的能力。SPPO采用乘法权重的在线自适应算法,通过自我博弈机制微调模型参数,实验结果表明在多个评估平台上表现显著优于其他方法,提高了模型生成文本的质量和符合人类价值的能力。SPPO为大语言模型提供了新的优化路径,有望在AI领域的发展和社会应用中发挥重要作用。
🔗
📳OpenAI下周要有大动作,奥特曼在线剧透:不是GPT-5,不是搜索引擎
OpenAI 宣布将在直播中更新 ChatGPT 及 GPT-4,预计推出具备音频和视觉功能的 AI 语音助手,可与人类对话、识别物体和图像,具备逻辑推理能力,可能在周一直播中亮相。该助手有望提升语音助手的可用程度,可充当家庭教师、辅助写作或翻译,但目前无法在个人设备上运行。OpenAI 还计划发布 AI 搜索引擎和自动化软件,同时正在研发 GPT-5。苹果计划升级 Siri,引入生成式 AI,提高处理任务的能力,计划在年度开发者大会上亮相,将在新款 iPhone 中加强支持 AI 功能。苹果已接近与 OpenAI 达成协议,在 iOS 18 中使用 ChatGPT。
🔗
📳百万tokens低至1元!大模型越来越卷了
智谱AI在ICLR 2024大会上公布了AGI通用人工智能前景的三大技术趋势,GLM-3 Turbo模型调用价格下调80%,降至1元/百万tokens。新注册用户赠送额度提升500%至2500万tokens。GLM-4价格保持在0.1元/千tokens。大模型降价有利于扩大生态圈,吸引更多开发者和企业客户。智谱AI持续降低API定价以满足不同用户需求。技术进步降低LLMs成本,GLM-3 Turbo的推理成本已压缩到原来的1/5。GLM系列模型即将更新,灰度测试中。
🔗
📳坏了,我的RTX 3090 GPU在对我唱歌!
一位AI科学家Vrushank Desai在学习GPU编程过程中发现RTX 3090 GPU能够通过内核调节功耗发出声音,演奏《一闪一闪亮晶晶》;Desai通过优化扩散策略推理过程来学习GPU编程,主要优化内存访问模式以提高内存利用率;GPU线圈噪音的产生原因是电感器产生振荡磁场,而Eager模式会导致更响的噪音;Desai的研究得到AI大牛Andrej Karpathy的好评,指出在AI研究中需要克服物理规律、编译器和堆栈等挑战。
🔗