谷歌的DeepMind在围棋和游戏战胜人类拉开了人工智能的快速发展大幕

ChatGPT后来居上，历史进入史无前例的人工智能发展热潮，各国公司相继加入AI浪潮。

大型语言模型（Large Language Model, LLM）

在机器学习中，对于有监督学习可以将其分为两类模型：判别式模型和生成式模型

判别式模型：要确定一个羊是山羊还是绵羊，用判别式模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。

生成式模型：是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，再放到绵羊模型中看概率是多少，哪个大就是哪个。

ChatGPT是生成式模型（AIGC）

我们真正缺乏的是技术积累，包括数据怎么清洗、标注以及模型的结构设计，怎么训练、推理，这个地方很多都需要经验和积累。

应用层人工智能企业数占比最高，达85.18%；技术层和基础层企业数分别占比12.41%和2.41%。由此可以看出，我国人工智能发展在应用层面有较大优势。

ChatGPT和以前GPT大模型的区别：ChatGPT是基于GPT3.5的基础模型框架，核心变化在于通过真实的调用数据以及人类反馈的强化学习进行训练。

ChatGPT用那种机器学习模型

训练成本昂贵：GPT3.0离线训练成本高达1200万美元，大模型重新训练成本达400万美元，都是租用微软的计算资源，成本与训练数据量成比例，增加GPU也可提升训练速度，中小厂商或将无法承担高昂的大模型自研成本。

模型训练所依赖的高性能芯片被M国卡脖子的解决方案：1）采用国内自研GPU；2）用分布式CPU替代，部分大厂应用采用分布式CPU的方式进行训练。

未来商业模式：OpenAI或将对外输出模型能力，国内百度等企业也会跟进，国内应用软件企业未来可能采用OpenAI或百度等厂商的AI模型作为基础能力。

我们真正缺乏的是技术积累，包括数据怎么做清洗、标注以及模型的结构设计，怎么做训练、推理，这个地方很多都是需要经验和积累。包括里面的很多算法是OpenAI和deepmind提出来的，作为原作者的理解能力是我们远不及的。20年GPT3.0出现的时候，我们跟国外的差距就拉大了，当时很少人觉察到GPT3.0不仅是一项技术，那个时候我们开始逐步落后，坦率讲国内这块技术方面落后于国外，而数据、算力不会存在瓶颈。