大模型日报

 

2024-06-04

 

大模型资讯

 

1. 1-bit LLMs或能解决AI的能耗问题

 

• 摘要: 大型语言模型（如ChatGPT）的性能不断提升，但其规模也在扩大。1-bit LLMs有望在保持高性能的同时，大幅降低能耗，解决AI系统的能源需求问题。

 

1. HuggingFace发布FineWeb大规模数据集用于LLM预训练

 

• 摘要: HuggingFace推出FineWeb数据集，包含15万亿个标记和44TB磁盘空间，旨在提升大语言模型（LLM）的训练效果。

 

1. JANUS方法：通过多方面系统消息使大型语言模型符合多样化用户偏好

 

• 摘要: 现有方法通常假设满足大众偏好是理想的，但忽视了用户偏好的多样性。JANUS方法通过多方面系统消息，使大型语言模型能够更好地对齐不同用户的多样化偏好。

 

1. 研究人员提出有限状态机框架提升文本生成效率

 

• 摘要: 研究人员提出了一种有限状态机框架用于文本生成，能够提供精确的控制和提升性能。这一方法旨在优化大语言模型的生成过程，带来更高效和更准确的文本输出。

 

1. AI天气预测取得重大进展：无需物理模型，单台桌面电脑即可运行

 

• 摘要: 一项新的AI天气预测模型已经取得了重大进展，该模型能够在无需物理模型的情况下进行全球天气预测，并且可以在单台桌面电脑上运行。

 

1. LLM-QFA框架：降低大语言模型部署训练成本的新方法

 

• 摘要: LLM-QFA框架是一种一次性量化感知训练方法，旨在减少大语言模型（LLMs）在不同场景中部署的训练成本。尽管LLMs在自然语言处理方面取得了重大进展，但由于内存等问题面临挑战。

 

1. 微软推出Aurora：大规模气象基础模型

 

• 摘要: 微软研究人员推出Aurora，这是一种大规模气象基础模型，基于超过一百万小时的多样化天气和气候数据进行训练，旨在提升气象预测和气候研究的精确度和可靠性。

 

1. 神经语言模型中的数据复杂性与缩放规律

 

• 摘要: 在神经网络中，理解如何在给定计算预算下优化性能至关重要。更多的处理能力可以提升模型性能，但需要平衡计算资源与实际需求。

 

1. NEST：提升语言模型事实性和归因的推理修正方法

 

• 摘要: Nearest Neighbor Speculative Decoding (NEST) 是一种用于语言模型的推理修正方法，通过最近邻推测解码来增强模型的事实性和归因能力。大型语言模型在处理多任务和各种应用中表现出色，NEST 方法进一步提升了其性能。

 

1. ChatMOF：AI系统预测与生成金属有机框架

 

• 摘要: ChatMOF是一种人工智能系统，旨在预测和生成金属有机框架（MOFs）。该系统利用大型数据集和先进的算法，能够加速MOFs的设计和发现过程，为材料科学研究提供强有力的支持。

 

大模型产品

 

1. Validea: 110秒验证创业想法

 

• 摘要: Validea是一款AI工具，可在110秒内提供创业想法评分、竞争对手列表、用户群、营销计划、MVP/产品指南及法律考量。

 

1. Kerlig AI：全能写作助手

 

• 摘要: Kerlig AI助你在Slack和邮件中用自己的语气写回复，修正拼写，总结网站和文章，翻译任意语言，改变语气等。

 

1. Deepshot 2.0：AI高清唇同步生成

 

• 摘要: Deepshot 2.0是一款AI驱动的高清唇同步和生成软件，适用于视频翻译、内容修正、内容创作、内容测试等多种用途。

 

1. ApiPrivacy：AI检测API隐私数据泄漏

 

• 摘要: 首个AI平台，精准检测和记录应用及API隐私数据，确保内部和第三方数据共享的安全与合规。

 

1. aicrunch.io：AI工具与市场洞察平台

 

• 摘要: aicrunch.io帮助用户和企业发现最新AI工具、指南和市场情报，覆盖销售、营销、金融等30个类别。

 

1. LearnerOn: AI智能学习平台

 

• 摘要: LearnerOn是一款先进的学习体验平台，提供个性化学习与发展体验，追踪技能与知识进度，支持团队学习转型。

 

1. Advomate: AI法律自动化工具

 

• 摘要: Advomate利用AI技术自动化案例研究和文件审查，适合律师、顾问等，能将数小时工作缩短至数秒。

 

1. AI活动匹配器：NY科技周

 

• 摘要: 通过回答简单问题，获取定制活动列表，确保你在NY科技周中充分利用时间，达到个人目标和兴趣。

 

1. Vagabond - AI旅行规划助手

 

• 摘要: Vagabond让旅行规划变得轻松愉快。无论是资深旅行者还是周末游，Vagabond提供定制行程和实时洞察。

 

1. human.software：人人可用的数据分析工具

 

• 摘要: human.software是一款无需编程的AI数据分析工具，只需用简单英文提问即可，且无任何幻觉。

 

大模型论文

 

1. Video-MME: 多模态LLM视频分析评估基准

 

• 摘要: Video-MME是首个多模态LLM视频分析综合评估基准，涵盖多种视频类型、时长和数据模态，提供精确标注，评估多种前沿模型。

 

1. 代码预训练提升语言模型实体追踪能力

 

• 摘要: 研究表明，代码预训练显著提升语言模型的实体追踪能力，而数学训练和对齐调优无一致性效果。

 

1. 语法对齐解码算法研究

 

• 摘要: 提出ASAp算法，解决大语言模型在生成结构化输出时的语法对齐问题，提升输出质量。

 

1. 质量感知自我优化的语言模型直接对齐

 

• 摘要: 本文提出利用内在知识优化损失函数，在DPO和IPO中集成精炼函数，提升模型性能。

 

1. LLMs中信念表示的标准研究

 

• 摘要: 本文提出LLMs中信念表示的四个标准：准确性、一致性、统一性和使用性，旨在填补该领域的理论空白。

 

1. LACIE：大模型置信度校准的听众感知微调方法

 

• 摘要: LACIE通过听众感知微调，优化大模型的置信度校准，显著减少错误答案的接受率，并提升正确答案的接受率。

 

1. 优化技术提升LLM越狱效率

 

• 摘要: 本文提出改进的优化技术用于LLM越狱，结合多坐标更新策略和多样目标模板，显著提升攻击成功率，代码已开源。

 

1. DeCo：多模态大模型中的解耦压缩与语义抽象

 

• 摘要: 本文提出DeCo方法，通过在补丁级别进行视觉压缩并让LLM处理语义抽象，提升了多模态模型的性能和效率。

 

1. 增强语言模型噪声鲁棒性的自适应对抗训练

 

• 摘要: 本文提出RAAT方法，通过自适应对抗训练和多任务学习，提高了LLaMA-2 7B模型在噪声条件下的鲁棒性。

 

1. SaySelf：LLM自反性信心表达框架

 

• 摘要: SaySelf通过总结不一致推理链的不确定性，训练LLMs生成自反性理由和精确信心估计，减少信心校准误差。

 

大模型开源项目

 

1. ChatTTS本地网页语音合成工具

 

• 摘要: 一个基于Python的本地网页界面工具，使用ChatTTS将文字转为语音，并提供API接口支持。

 

1. ToonCrafter:生成卡通插值研究

 

• 摘要: ToonCrafter是一个用Python编写的AI项目，专注于生成卡通插值的研究，旨在提升卡通动画的生成效果。

 

1. VinciGit00：AI驱动的Python爬虫

 

• 摘要: VinciGit00是一个基于AI的Python爬虫项目，旨在提高数据抓取效率，适用于各种数据采集需求