原文

 That ChatGPT can automatically generate something that reads even superficially like human-written text is remarkable, and unexpected. But how does it do it? And why does it work? My purpose here is to give a rough outline of what’s going on inside ChatGPT—and then to explore why it is that it can do so well in producing what we might consider to be meaningful text. I should say at the outset that I’m going to focus on the big picture of what’s going on—and while I’ll mention some engineering details, I won’t get deeply into them. (And the essence of what I’ll say applies just as well to other current “large language models” [LLMs] as to ChatGPT.)

The first thing to explain is that what ChatGPT is always fundamentally trying to do is to produce a “reasonable continuation” of whatever text it’s got so far, where by “reasonable” we mean “what one might expect someone to write after seeing what people have written on billions of webpages, etc.”

So let’s say we’ve got the text “The best thing about AI is its ability to ”. Imagine scanning billions of pages of human-written text (say on the web and in digitized books) and finding all instances of this text—then seeing what word comes next what fraction of the time. ChatGPT effectively does something like this, except that (as I’ll explain) it doesn’t look at literal text; it looks for things that in a certain sense “match in meaning”. But the end result is that it produces a ranked list of words that might follow, together with “probabilities”:

google 翻译

ChatGPT 可以自动生成一些读起来就像人类书写的文本一样的东西，这是了不起的，也是出乎意料的。但它是如何做到的呢？为什么它有效？我在这里的目的是粗略地概述 ChatGPT 内部正在发生的事情，然后探索为什么它可以很好地生成我们认为有意义的文本。我应该在一开始就说，我将重点关注正在发生的事情的大局，虽然我会提到一些工程细节，但我不会深入探讨它们。（我所说的本质同样适用于其他当前的“大型语言模型”[LLM] 和 ChatGPT。）

首先要解释的是，ChatGPT 从根本上一直在尝试做的是对迄今为止所获得的任何文本进行“合理的延续”，其中“合理”的意思是“人们在看到人们写的内容后可能期望某人写什么”已经写在数十亿个网页上，等等。”

假设我们已经得到了文本“人工智能最好的事情是它的能力 ”。想象一下，扫描数十亿页的人类书写文本（例如在网络上和数字化书籍中）并找到该文本的所有实例，然后查看接下来出现的单词是什么时间。ChatGPT 有效地做了类似的事情，除了（正如我将解释的）它不查看文字文本；它寻找某种意义上“意义匹配”的事物。但最终的结果是，它生成了一个可能跟随的单词的排名列表，以及“概率”：

chatgpt 翻译

ChatGPT是一种基于人工智能的大型语言模型，具有生成类似于人类书写文本的能力，这一点确实令人惊讶而意想不到。但它是如何做到的呢？为什么会有效果？我在这里的目的是大致概述ChatGPT内部的运作方式，然后探讨为什么它能够在生成我们认为
有意义的文本方面表现得如此出色。我首先要解释的是，ChatGPT始终基本上是在尝试生成一种“合理的延续”，以当前文本为基础，所谓“合理”是指“人们在阅读了数十亿个网页等内容后可能期待看到的文本”。

假设我们有文本：“人工智能最好的地方是其能力”。想象一下扫描数十亿页的人类书写文本（比如网络上和数字化书籍中的文本），找到所有这样的文本实例，然后看下接下来的词是什么，它在多少情况下出现。ChatGPT实际上做了类似的事情，不过它不看字
面上的文本；它寻找的是在某种意义上“匹配的内容”。但最终结果是，它生成了一个排名列表，显示可能跟随的单词，以及对应的“概率”：

 baidu ai

ChatGPT可以自动生成看起来像人类撰写的文本的东西，这非常了不起，也出乎意料。但它是如何做到的？为什么能工作？我的目的是概述ChatGPT内部发生的事情，然后探讨为什么它在产生我们可能认为是有意义的文本方面做得这么好。首先，我应该说，我将重点放在大局上，虽然我会提到一些工程细节，但我不会深入讨论它们。（我所说的本质也适用于其他当前的“大型语言模型” [LLMs]和ChatGPT。）

首先要解释的是，ChatGPT 始终在尝试做的是对它迄今为止得到的任何文本进行“合理的延续”，这里的“合理”是指“在看到人们在数十亿个网页上写的东西后，人们可能会期望别人写些什么”。

假设我们得到了文本“人工智能最好的地方在于它能够……”。想象一下，扫描数十亿页人类编写的文本（比如在网络和数字化书籍中），并找到该文本的所有实例，然后查看接下来出现哪个词，占多少时间。ChatGPT有效地做到了这一点，除了（正如我将解释的那样）它不查看文字文本；它寻找在某种意义上“意义匹配”的东西。但最终的结果是，它产生了一个可能出现的单词的排名列表，以及“概率”：

 baidu 翻译

ChatGPT可以自动生成一些读起来甚至表面上像人类书写的文本的东西，这是了不起的，也是出人意料的。但它是如何做到的呢？为什么它有效？我在这里的目的是给出ChatGPT内部发生的事情的大致轮廓，然后探索为什么它可以在生成我们可能认为有意义的文本方面做得如此好。我应该在一开始就说，我将专注于正在发生的事情的大局，虽然我将提到一些工程细节，但我不会深入探讨它们。（我将要说的本质同样适用于其他当前的“大型语言模型”[LLM]，就像适用于ChatGPT一样。）
首先要解释的是，ChatGPT始终试图从根本上做的是为迄今为止获得的任何文本生成“合理的延续”，其中“合理”是指“在看到人们在数十亿个网页上所写的内容后，人们可能会期望某人写什么”

所以，让我们假设我们得到了文本“关于人工智能的最好的东西是它的能力”。想象一下，扫描数十亿页人类书写的文本（比如在网络和数字化书籍中），找到这些文本的所有实例，然后看看接下来是什么单词——时间的一小部分。ChatGPT有效地做了类似的事情，除了（正如我将解释的）它不看文本；它寻找在某种意义上“意义匹配”的东西。但最终结果是，它产生了一个可能紧随其后的单词的排名列表，以及“概率”：