1、人工智能的概念

人工智能概念，在1956年召开的达特茅斯会议上正式被提出。该会议是由信息学鼻祖克劳德.艾尔伍德.香农(ClaudeElwoodShannon)以及马文.明斯基(Marvin Minsky)、约翰.麦卡锡(JohnMcCarthy)等十位信息学、数学、计算机学的科学先驱，在美国东部的达特茅斯召开的一次具有传奇色彩的学术会议。会上首次出现了“人工智能”(ArtificialIntelligence,Al)这个术语，也是在这次会议上，他们决定，将像人类那样思考的机器称为“人工智能”。

提到“人工智能”不得不提的另一个名字，则是享有“人工智能之父”称号的计算机科学家艾伦.图灵(Alan Turing)，他在其论文《Computing Machinery and Intelligence》中提出了著名的“图灵测试”，定义了判定机器是否具有“智能”的方法。

2、从统计理论到大模型，人工智能发展的飞跃

达特茅斯会议以后，截至今日人工智能历经了67年的发展，纵观其历史，大致可分为:统计理论、机器学习、深度学习和大模型四个发展阶段。从大模型阶段开始，其对人类意图的准确理解以及内容生成能力，则标志着人工智能从判别式时代，开始走向生成式时代。

3、从Word2Vec到Transformer，NLP技术浅析

在展开讨论GPT大模型之前，我们把时间稍微往前回溯一下，通过一些案例简要回顾一下Word2Vec、Seq2Seq等早期NLP技术，以及大模型的奠基技术:Transformer结构。

1）Word2Vec:
Word2Vec(Word to Vector)即:词-向量转换，是由托马斯.米科洛夫(Tomas Mikolov)等科学家于2013年在论文《Efficient Estimation of Word Representations in Vector Space》中提出的。
Word2Vec是NLP的重要思想，它提出了一种将自然语言的词语转化为“可计算”的向量的方法，这个过程通常称为“嵌入”(embedding)。

我们来看一个例子，下图将“King”、“Man”和“Women”三个词进行了Word2Vec操作，并对它们的向
量矩阵用颜色进行了可视化，其中每个色块代表一个特征(feature)，特征向量用颜色表示:深红色为+2，白色为0，深蓝色为-2。从图中所显示的特征模式我们可以看到，“man”和“woman”两个词的向量矩阵在向量空间中的距离更近(这两个词的语义上相似度更高)，而与“king”的距离更远(语义上差异更大)

Word2Vec的表示方法能够将词映射到一个高维的表示语义的空间中，即:词向量空间，使得计算机可以对自然语言进行“理解”和计算。

2）Seq2Seq:

Seq2Seq (Sequence to Sequence)，即:“序列到序列”，是伊尔亚.苏茨克维(Ilya Sutskever)等科学家在NIPs 2014发表的论文《Sequence to Sequence Learning with NeuralNetworks》中被首次提出。该论文的一作--一伊尔亚.苏茨克维即现任OpenAI首席科学家，时任GoogleBrain研究科学家。该论文在谷歌学术引用目前已经超过2.1万次，可见其在NLP领域的重要性，在其发表至今近9年的时间里，NLP的发展可以说或多或少受到了该论文思想的影响。

Seq2Seq的思想其实很直观，就是把语言生成任务建模为序列到序列的任务。何为序列?句子就是一个文本序列，模型的输入是一个序列，输出也是一个序列。其提出的初衷，主要是用于翻译任务，后来广泛应用到对话生成、摘要生成等文本生成任务当中。

这种结构的显著特点就是:通过编码器-解码器结构，维系着输入序列和输出序列的一个松散的映射关系，松散主要指，输入输出序列的长度是可变的，且无需严格对应。

在实现Seq2Seq时，根据应用场景和任务不同，我们可以构建不同的编码器和解码器，这也就意味着序列之间的映射方法不同，如:从一种语言映射到另一种语言，是翻译任务;从一个问题映射到一个答案，是问答系统等等。而编码器和解码器的具体实现，可以是NLP的经典结构循环神经网络(RecurrentNeuralNetwork,RNN)，也可以是其改良版本长短期记忆网络(Long Short-Term Memory,LSTM),亦或是“注意力”(Attention)机制。

3）Tranformer:
来到这里，一切开始变得熟悉起来:Transformer结构的本质，其实就是Seq2Seq的编码器-解码器模型加上“注意力”机制，该机制和Transformer结构，是谷歌公司翻译团队在2017发表的论文“AttentionIsAllYou Need”中首次提出。而何为“注意力”?简单地说，注意力能够在句子内部计算字词之间的相关性，使序列内部的字词产生关联，以更准确的将字词映射到词向量空间中。我们来看一个例子。假如我们有下面输入语料:

分词之后可以看出来，“聪明的”这个定语是用来修饰“小明”这个主语的。假设“小明”这个主语所对应
的token是一个三维空间(词向量空间实际维度要高得多)R当中的一个点，当我们用“聪明的”这个形
容词来修饰这个主语之后，那这个主语在空间R当中的位置相较于不被定语修饰的token的位置应该是有一定变化的(相当于该词的语境发生了变化，自身的含义也会发生变化)。同理，如果换成“愚蠢的小明”也将类似，将“愚蠢的”所对应的token的信息搬运到“小明”这个主语所对应的token，只是愚蠢的定语将会对“小明”对应的token做负向的修改。

通过“注意力”计算，可以使得模型不仅能够关注当前位置的词，而且能够关注句子中其他位置的词(上下文)，从而可以更好的编码这个词，即将其他词的理解融入到当前词中。更重要的一点，通过“注意力”机制的位置编码(Positionalencoding)操作，能够使序列数据离散化，将循环神经网络系模型(RNN和LSTM等)难以并行化训练的问题很好的得以解决(RNN理解文章只能先看前文，再看后文，乱序的看意思不同;“注意力”机制模型可以乱序的看，也可以很多人一起看)，从这个意义上看，可以说是“注意力”机制使得大模型的发展成为可能，正如其论文标题所述:Attention Is All You Need。

4）在对Word2Vec、Seq2Seq和Transformer等技术做了一些简单回顾后，我们下面开始对BERT和GPT两类常见的大模型结构展开讨论。

2018年，谷歌公司发布了基于Transformer结构的预训练模型:BERT(BidirectionalEncoder
Representations from Transformers)。作为双向编码器(Encoder) 的Transformer模型变体，BERT以独特的掩码(Mask)方式训练，能力则侧重于阅读理解、完形填空和翻译等任务，得益于
340M(million)的较大参数量，其在机器阅读理解顶级水平测试SQuAD1.1中，全部指标全面超越人类，并且还在11种不同的NLP测试中，创出全部最佳的惊人成绩，其中包括:将GLUE基准测试成绩推升至80.4%(将当时最好成绩提升了7.6%)，MultiNLI准确度提高至86.7%(提升了5.6%)等。

同年，OpenAI公司也发布了基于Transformer的预训练大模型:GPT(Generative Pre-trainingTransformer)。GPT则采用的是单向注意力解码器，构建了一个12层Transformer结构的模型，参数量为1.17亿(117M)。主要用于自然语言理解和生成任务，其注意力计算方向为单向，与人类的阅读、写作的方向一致。

另外，GPT-1还使用了一种半监督的训练方法，即结合了无监督的预训练和有监督的微调实现。该思想与杰弗里.辛顿(GeoffreyHinton)于2006年在《Science(科学)》上发表的奠基深度学习的论文《Reducing The Dimensionality of Data With NeuralNetworks》类似，但做了一些优化，即把无监督预训练的结构，全部使用“注意力”机制代替，这使得预训练模型本身就有较强的泛化能力，通过学习通用的表征就能够以相对固定的代价，获得广泛用于各种下游NLP任务的能力，极大降低了任务微调的成本。

因GPT的单向注意力解码器Transformer结构采用的自回归生成范式，即:其仅考虑上文信息，而不考虑下文信息，与BERT双向注意力编码器的设计理念上有很大的不同，这也使得GPT和BERT两种预训练模型有着不同的能力侧重:

在较小参数量的条件下(数亿级)BERT结构表现出优于GPT结构的NLP性能，但在大参数量条件下
(千亿级)，BERT因过拟合现象(Overftting)，适应复杂场景的泛化能力逐渐不及GPT结构模型。

因此，尽管GPT初代版本，性能并不及同期的BERT，未产生较大的影响，但经过几轮版本迭代后，于2022年末发布的参数量高达175B(1750亿)的ChatGPT，其认知能力几乎可以与人类媲美，并可使用自然语言完成各种文档甚至计算机代码的编写，而于2023年初发布的GPT-4则新增了对语音、图片等多模态的支持，并在包括GRE、SAT以及AP(AdvancedPlacement)考试中，获得了高于大多数人类的分数。

依托大模型的通用泛化认知水平，将引起对生产力发展、社会形态和人机关系的广泛讨论的同时，势必也将给城市治理带来技术利好，引发城市治理和服务的范式的转变。下面，我们将结合大模型的技术特点，以及软通智慧通过大模型赋能城市治理的案例实践，展开阐述。

4）上下文学习(In-Context Learning)与微调(Fine-tuning)

OpenAl在2020年发表的GPT3论文《Language Models are Few-Shot Learners》中提出了上下文
学习概念。大模型在推理阶段，能够在与用户的上下文会话中，学习并整合相关语境的知识，更精确地完成相应的NLP任务。

上下文学习与微调(Fine-tuning)过程有着本质的不同，微调会通过梯度下降(Gradient
Descent,GD)和前馈机制(BackPropagation,BP)更新模型参数权重，也就是说，微调学习过程将
永久性改变模型的参数权重。

而上下文学习则是将会话的上下文，作为输入序列传递给模型，使得模型更好地关注在某个领域的话题和知识范围，而并不会更新模型的参数本身。

5）人工智能、通用人工智能、大语言模型

2022年11月30日，OpenAl发布大语言模型(LLM，Large LanguageModel))ChatGPT，用户数5天过百万、2个月过亿的成绩，一度刷新纪录成为史上增长最快的应用。ChatGPT的全民爆火揭开了人工智能(Al，ArtificialIntelligence)大模型时代的序幕，也预示着AI 迈向通用人工智能(AGl，ArtificialGeneral Intelligence)的新一轮冲刺。

目前业界对大模型并没有形成明确统一的定义，狭义上可指代大语言模型，基于Transformer 技术框架;广义上则包含了语言、声音、图像、视频等多模态大模型，技术框架也涵盖 StableDiffusion 等。

在大模型出现之前，人工智能通常需要针对特定的任务和场景设计专门的算法模型，能够执行的也是训练数据范围内的单一任务。大模型的突破，关键在于展现出了类人的通用智能“涌现”能力，能够学习多个领域知识、处理多种任务，因此也被称为通用大模型。

具体而言，大模型具备以下特点:

1.参数规模大

大模型的参数规模远大于传统深度学习模型。大模型发展呈现“规模定律”(ScalingLaw)特征，即:模型的性能与模型的规模、数据集大小和训练用的计算量之间存在幂律关系，性能会随着这三个因素的指数增加而线性提高，通俗而言就是“大力出奇迹”。不过“大”并没有一个绝对的标准，而是一个相对概念。传统模型参数量通常在数万至数亿之间，大模型的参数量则至少在亿级，并已发展到过万亿级的规模。如OpenAI的GPT-1到GPT-3，参数量从1.1亿大幅拉升到1750亿，GPT-4非官方估计约达1.8万亿。

2.泛化能力强

大模型能够有效处理多种未见过的数据或新任务。基于注意力机制(Attention)，通过在大规模、多样化的无标注数据集上进行预训练，大模型能够学习掌握丰富的通用知识和方法，从而在广泛的场景和任务中使用，例如文本生成、自然语言理解、翻译、数学推导、逻辑推理和多轮对话等。大模型不需要、或者仅需少量特定任务的数据样本，即可显著提高在新任务上的表现能力。如OpenAI曾用GPT-4参加了多种人类基准考试，结果显示其在多项考试中成绩都超过了大部分人类(80%以上)，包括法学、经济学、历史、数学、阅读和写作等。

3.支持多模态

大模型可以实现多种模态数据的高效处理。传统深度学习模型大多只能处理单一数据类型(文本、语音或图像)，大模型则可以通过扩展编/解码器、交叉注意力(Cross-Attention)、迁移学习(Transfer learning)等方式，实现跨模态数据的关联理解、检索和生成。多模态大模型(LMMs，Large MultimodalModels)能够提供更加全面的认知能力和丰富的交互体验,拓宽AI处理复杂任务的应用范围，成为业界探索迈向通用人工智能的重要路径之一。典型如OpenAI的Sora模型推出，掀起了全球多模态大模型的发展新热潮。