摘要:
一个谷歌研究员的内部文件透露,当前的人工智能(AI)竞赛中,谷歌和OpenAI可能无法取胜。开源AI项目因其快速创新和低成本实现而已在悄悄领先,它们表现出在自定义性、隐私保护、以及性能方面的明显优势。开源社区通过低成本微调技术(如LoRA),在多模态、可扩展的个人AI、大规模语言模型(LLMs)等方面取得了重大进展,而且无需长时间且昂贵的训练过程。
核心观点:
- 开源AI发展迅速,正在赶超谷歌和OpenAI的模型,尤其是在手机端LLMs、私人AI微调、多模态等方面。
- 开源社区已经在少量资源和短时间内解决了谷歌等大型机构仍在努力应对的问题。
- 数据质量优于数据规模的增长,使用精心策划的小型数据集进行训练可能比使用大型数据集更高效。
- 与秘密保持和研究成果专有化相比,通过开放源代码的合作和共享,能更有效地促进技术进步。
结论与建议:
文件指出,谷歌需要重新考虑其AI战略,应积极参与开源社区,以避免被无限制的、免费的、高质量的开源模型所替代。文章提倡开放合作,分享小型ULM(通用语言模型)的权重,以及更多地创新迭代小型模型而不是仅聚焦于巨型模型。谷歌和OpenAI如果不改变策略,最终可能会被开源替代品超越。
文中还提到了创新事例,如在消费级硬件上微调个人语言模型的实现、多模态问题在短时间内的解决、以及运用LoRA技术进行低成本的模型微调等。