ChatGPT的回答从哪里来？

        ChatGPT回答问题时通常比问题本身更长，这是因为它需要通过补充额外的信息来提供完整的答案。它的回答来源于对现有信息的抽取和整合，那么具体是怎么进行抽取和整合的呢，下面我们带着这个疑问来详细讨论一下它的工作原理。

  首先，英语中的问题通常以疑问词开头，例如"What"、"Why"、"Who"、"When"、"Where"、"Which"和"How"等。这些疑问词也被称为WH单词。

        那么在这些问题中又可以把他大致分为两类，一类是回答简单问题，一类是回答复杂问题。

一、咱们先说回答简单问题：

        对计算机来说，除了涉及"为什么"和"怎么做"的问题，其他问题都属于简单问题。例如，如果你问ChatGPT："2023年美国总统是谁？"，它可以很快回答："是拜登。" 这类问题，计算机能够根据疑问词和主题词的组合来理解。在这个例子中，问题的主题词是"美国总统"，疑问词是"是谁"，然后ChatGPT通过统计网上与这个问题相关的答案，建立一个关于"美国总统"的语义框架或知识框架。要知道它不是一对一的直接给出正确结果，相反它会给出多个可能的答案，并根据答案的概率进行排序，最终返回最可能的答案。不过需要注意的是，如果数据还没有更新，比如在换届时期，ChatGPT给出的答案可能会出错。

        类似的问答功能还可以在今天的智能助手中找到，比如使用苹果手机的Siri功能或谷歌的Google Voice功能，它们都能回答大部分简单问题，方法基本类似。

        讲到苹果的Siri，很多人觉得它比ChatGPT笨多了，即便是很多关于事实的问题，它也给不出答案，直接说不知道。其实这是对美国的商业和法律缺乏了解。苹果作为大的上市公司，是不能随便给别人建议的，否则法律上的麻烦很多。此外，作为一个用户每天依赖的产品，可靠性非常重要，不能时对时错。因此，像Siri这类的产品，做不到就不做了。

二、回答所谓复杂的问题：

        对于复杂问题，计算机的处理方式与人有很大不同。

        人类遇到复杂问题时，有三种途径可以回答：

        第一种情况，你知道答案，直接给出。这种情况计算机也能应对。例如，答案可能就在某个问答网站的文章中。过去，计算机采用网页搜索，将网页提供给用户。而今天的ChatGPT，则会从相应的网页中抽取相应的内容。

        第二种情况，你不知道答案，但你有相关知识，可以利用基本知识推导出答案。计算机在这方面的能力相对有限。虽然ChatGPT在很多方面已经很强大，但在回答小学常识类问题时，其正确率还不到60%。这是因为这类问题很少在网络上被讨论，或者网络上没有足够靠谱的答案，而ChatGPT缺乏像人一样运用知识去寻找答案的能力，它只能从现有的答案中归纳总结。

        第三种情况，你不知道答案，现有知识也无法直接推导出答案，需要进行研究。例如，在疫情期间，市面上有很多种口罩，但并不是所有的口罩都有效。这类问题并没有好的答案，需要通过实验和探索来发现新知识。ChatGPT无法做到这一点。

第三点、咱们来总结性的聊聊ChatGPT的工作原理：

        ChatGPT回答问题和进行写作都基于对现有事实的抽取和整合，或者说归纳总结。

        ChatGPT的训练数据是在Google进行的一项大规模语法分析任务。Google对1000亿个高质量的英语句子进行了语法分析，得到了知识图谱和语言模型。其中，知识图谱是由专门构建知识图谱的小公司和Google共同构建的，涵盖了数百万个知识点及其相互关系。ChatGPT还下载了维基百科的内容，构建了维基百科的知识图谱。

        在回答问题时，ChatGPT首先在知识图谱中寻找可能的答案。对于复杂问题，它可能需要从原始网页中提取信息。ChatGPT会找到多个可能包含答案的文章，并从中提取语句，通过语言模型构建答案。它的语言模型相当于一个“厨师”，将提取的信息组织成连贯的回答。如果语言模型质量较高，提供的答案会更加连贯和有逻辑性。

        在对话和写作方面，ChatGPT通过模仿同类文章或对话来生成内容。在对话中，你说一句话，它回答一句，通过类似的填空游戏继续进行。

         举例（可换）：比如有这样一句话：从去年（ ）开始，考研成了大学生最关注的话题之一。请问中间该填什么词？

        对此，语言模型可以给出概率最高的几个词作为候选。比如上半年，下半年，夏天等等，不太可能提示“箱子”、“北京”、“土豆”这些不相关的词。类似地，如果一段话中拿走了一两个句子，今天语言模型也能填回去，只要语言模型足够大、足够好，填进去的内容读起来就通顺。

        至于写作，ChatGPT会利用用户提供的新信息替换原有内容，从而生成不同的作文。需要注意的是，输入的训练数据决定了输出的风格和质量。ChatGPT写的作文其实没有什么营养，内容只是比较巧妙的重复。不过客观地讲，今天大部分中学生写的作文其实质量都不高，也不过是把范文抄来抄去，甚至写得还远不如ChatGPT。毕竟，模仿和抄袭，人是做不过机器的。

        国内的阿里巴巴也推出了类似ChatGPT的产品，其回答和写作风格可能与ChatGPT有所不同，这是因为它们受到不同的训练数据影响。

最后总结一下：

        ChatGPT回答问题不是简单的问题对答案匹配，而是通过对现有信息的抽取和整合来回答问题。其工作原理涉及知识图谱的使用、从原始网页中提取信息以及语言模型的应用。ChatGPT的回答和写作都是基于模仿同类内容，并根据输入的训练数据生成不同的风格和质量的回答。