一段代码如何拥有心智？ChatGPT涌现之谜

先说几个核心判断：关于ChatGPT是否真正产生了心智，目前还没有确定答案。但可以肯定的是，它确实展现出了令人震惊的智能表现。

斯坦福大学的最新研究结论，一经发布就在学术界引起了轰动——原本被认为人类独有的“心智理论”（Theory of Mind，ToM），已经出现在ChatGPT背后的AI模型上。所谓心智理论，就是理解他人或自己心理状态的能力，包括同理心、情绪、意图等。在这项研究中，研究人员发现：da vinci-002版本的GPT-3已经能解决70%的心智理论任务，相当于一个7岁儿童的水平。

2023年，面对铺天盖地的AI应用，所有人都意识到，有些东西已经被永远改变了。而在这一波AI热潮中，真正让人感到震撼的只有ChatGPT。心智或许无法通过量化指标来判断，但ChatGPT确实满足了智能定义的多个维度：推理、计划、解决问题、抽象思考、理解复杂想法、快速学习。然而本质上看，ChatGPT只做了一件事——续写。当我们给出前N个词时，如果模型能预测出第“N+1”个词最可能是什么，我们就认为它掌握了语言的基本规律。

问题的关键在于：为什么光靠“续写”就能产生智能？

我们可以这样理解：人类的大部分任务，都是以语言为载体的。当你说出前面的话，它把后面的话接上，任务就完成了。ChatGPT作为一个大语言模型，目标就是“把话接上”。而这个看似简单的接话茬能力，可以在不知不觉中帮我们完成各种任务。这也解释了一个常见的问题：为什么ChatGPT有时候会瞎编？它并不是在撒谎，它根本不知道对错，它只是想让对话顺利进行下去。

如果事情真的像上面说的那样，那GPT似乎并没有想象中那么神奇。它看起来只是一个基于大数据和统计学的语言模型，通过它学习的海量文本来预测下一个概率最高的词，就像一个容量巨大的“数据库”，所有回答都从这个数据库里直接提取。

但奇怪的是，ChatGPT能回答它从未学习过的问题。最有代表性的案例是训练数据中不可能存在的六位数加法——这显然无法通过统计学的方式来预测下一个最高概率的数字是多少。

不仅如此，GPT还学会了在对话中临时学习的能力。

看起来，ChatGPT除了“续写”之外，确实还产生了逻辑推理能力。这些统计之外的新能力，究竟是如何出现的？

要理解这个问题，得先回答：机器如何理解语言？代码如何存储知识？这篇文章的核心目的只有一个——解释一段代码究竟是如何拥有心智的。

注意力机制——一切从“注意力”开始

搜索所有关于ChatGPT的技术资料，有一个词出现的频率特别高：Attention is all you need。ChatGPT的一切都建立在“注意力机制”之上。GPT的全称是Generative Pre-trained Transformer，而Transformer正是一个由注意力机制构建的深度学习模型。这个概念来自2017年一篇只有15页的论文《Attention is all you need》。结合OpenAI关于GPT-2和GPT-3的两篇论文，我们可以拆开这个大语言模型，看看它说话时究竟发生了什么。

注意力机制这个思路，其实是从人脑的思维方式借鉴过来的。你在读这段话时，注意力会从左到右一个字一个字地闪过，然后把注意力集中在完整的句子上，理解字词之间的关系。其中某些关键词会投入更多的注意——这一切发生在电光火石之间。

基于注意力机制的Transformer和GPT系列模型，正是在模拟这一思维过程。它先是让机器理解一句话中字词之间的关系和意义，完成下一个词的续写，然后再理解一遍、再续写一个词，最后形成一段话。要让程序模仿这件事，并不容易。如何让机器计算字符？如何让代码存储知识？为什么将模型框架中的一个单元拆开后，全都是圆圈和线？

研究AI的第一步，就是搞清楚上图中的一个圆圈究竟能干什么。

神经元——圆圈和线

1957年，一篇名为《感知器：大脑中信息存储和组织的概率模型》的论文中，也出现了一堆圆圈和线——这就是今天各种AI模型的基本单元，也被称为神经网络。一个世纪前，科学家就已经知道了人脑大致的运作方式：这些圆圈模拟的是神经元，而线就是把神经元连接起来的突触，负责传递神经元之间的信号。

将三个神经元连接在一起，就得到了一个开关：要么被激活输出1，要么不被激活输出0。开关可以表达“是”与“否”，区分黑白，标记同类，但归根到底做的是同一件事——分类。过去几十年里，无数最聪明的头脑所做的，就是通过各种方式把这些圆圈连接起来，试图以此产生智能。

有个网站可以模拟更多的神经元分类问题。你会发现，单个神经元能处理的情况非常有限：它能把明显分开的两块数据区分开，但面对内圈和外圈的数据就无能为力了。如果加入激活函数，再增加新的神经元，每一个新增的神经元都可以在分类边界上新增一两条折线。更多的折线围得越来越像一个圆，最终完成这个分类任务。

分类能解决很多具体问题。假设上图中的每个点的X轴和Y轴分别代表一只小狗的岁数和体重，那么只凭这两个数值就能判断出这是两个不同品种的狗。每个点代表的信息越多，能解决的问题就越复杂。比如一张784个像素的照片，可以用784个数字来表示和分类。更多的线、更多的圆圈，本质上都是为了更好的分类。这就是当前最主流的AI训练方案——基于神经网络的深度学习。

学会了分类，某种程度上也就实现了创造。

这也是为什么不少业界学者认为深度学习的本质其实是统计学。沿着圆圈和线的道路，它终究会到达终点，成为人人都能使用的工具。如果把GPT系列模型拆开，暴露出来的也仍然是这些圆圈和线。但分类和统计真的能模仿人的思维吗？在回答这个问题之前，先了解一下成语接龙的底层原理。

成语接龙

在2018年第一代GPT的原始论文中，可以看到GPT系列的模型结构。回想前面提到的注意力机制，这一层被称为“注意力编码层”，它的目标就是模仿人的注意力，抽取出话语之间的意义。把12个这样的编码层叠在一起，文字从下面进去，出来的就是GPT预测的下一个词。

比如输入“how are you”之后，模型会输出下一个单词“doing”。它为什么会输出这个？接下来，我们来搞清楚中间到底发生了什么。

输入“how are you”后，这三个单词会被转换成三个1024维度的向量。接着每个向量都会加上一个位置信息，表示“how”是第一个词，“are”是第二个词，以此类推。之后它们会进入第一个注意力编码层，计算后变成三个不同的1024维向量，再来到第二层、第三层……一直经过全部24个注意力编码层的计算处理，仍然得到三个1024维向量。对下一个词的续写结果，就藏在最后一个向量里面。

关键计算就发生在这24个注意力编码层中。每一层又可以分成两个结构：先计算多头注意力，再计算全连接层。注意力层的任务是提取话语间的意义，而全连接层需要对这些意义做出响应，输出存储好的知识。

先用“how”做个例子。注意力层里有三个训练好的核心参数K、Q、V，用于计算词语间的关联度。将它们与每个向量相乘后，就能得到“how”和“are”的关联度，再通过同样的方式计算“how”和“you”、“how”和“how”的关联度，于是得到三个打分——分数越高，意味着它们的关联越重要。之后让三个分数和三个有效信息相乘再相加，就把“how”变成了一个新的64格的向量。然后对“are”和“you”执行同样的操作，就得到了三个新的向量。

参与这轮计算的K、Q、V是固定的，而模型里一共有16组不同的K、Q、V，它们各自都会做一轮同样的运算，得到16组不同的输出——这就叫做“多头注意力”，意味着对这句话有16组不同的理解。把这些输出拼在一起，得到和输入相同长度的1024个格子，再乘以一个权重矩阵W，就进入了全连接层的计算。

在全连接层里，是4096个我们熟悉的神经元，它们做的仍然是分类工作。这里的计算，是把被注意力层转换后的“how”向量和每一个神经元都连接在一起：1024个格子里的每个数字，都分别和第一个神经元的连线权重相乘再相加，这个神经元会输出一个相似度分值。与此同时，每一个神经元都在做类似的操作——只有少数神经元的输出大于零，意味着这个神经元对当前输入敏感。再连接1024个格子对应的向量，就又得到一个新的向量。之后“are”和“you”做类似的计算，最终得到三个和初始长度一样的1024格向量串——这就是一层注意力编码层内发生的事情。

之后的每一层都按照相同的流程，在上一层的基础上做进一步计算。即便每一层只带来了一点点理解，24层算完以后，积累的理解已经相当多了。最终还是得到三个向量，每个1024长。而模型要输出的下一个词，就基于这最后一个向量——也就是从“you”变换来的那个向量。把它从1024恢复成0到50256范围的序号，就能看到这个序号向量在词表里最接近的值。到这步，模型就算出了“how are you”之后的下一个词最有可能是“doing”。

如果我们希望模型继续续写，就把这个“doing”续在“how are you”后面，转换成四个向量，再输入进模型，重复刚才的流程，得到下一个词。一个接一个，一段话越来越长，直到结束——这就是文字接龙的秘密。而ChatGPT也只是把这个续写模型改成了对话界面而已。你提的每一个问题，都会像这样成为续写的起点，你们共同完成了一场文字接龙。

“大”语言模型

刚刚提到的每一层计算流程，其实还好。GPT真正吓人的地方是参数量——实在是太大了。GPT-1的基本尺寸是768，每一层有超过700万个参数，12层加起来就是1.15亿个参数。在它发布的2018年，这已经非常大了。我们刚刚拆解的GPT medium基本尺寸是1024，共有24层，每一层有1200万个参数，乘起来就是3.5亿个参数。而到了ChatGPT所用的GPT-3版本，参数是1750亿，层数增加到了96层。GPT-4没有公布具体规模，但媒体猜测大概是GPT-3的六倍——一万亿参数。这意味着，即便把一张3090显卡的显存扩大几百倍，让它能装得下GPT-4，回答一个简单的问题可能也得计算40分钟。

拆开这一切，你会发现没有什么惊人的秘密——只有大，文明奇观级别的大、让人无话可说的大。这就是GPT系列的真相：一个“大”语言模型。但即便如此，我们仍然无法回答：为什么这样的模型能够产生智能？同时还出现了一个新问题：为什么参数量非得这么大？

先总结一下已知信息：第一，神经网络只会做一件事——数据分类；第二，GPT模型里，注意力层负责提取话语中的意义，再通过全连接层的神经元输出存储好的知识；第三，GPT说的每一个词，都是把对话中的所有词在模型中跑一遍，选择输出概率最高的那个词。所以，GPT拥有的知识是从哪来的？在OpenAI的论文中可以看到ChatGPT的预训练数据集：来自网站、图书、开源代码和维基百科的约700GB的纯文本，总计4991亿个token——相当于86万本《西游记》的文字量。它的训练过程，就是通过自动调整模型里的每一个参数，完成这些海量文字的续写。

在这个过程中，知识被存储在了一个一个的神经元参数里。之后，上千亿个参数和储存的知识就不再更新了。换句话说，我们日常使用的ChatGPT是完全静态的——就像一具精致的尸体。它之所以看起来能记住我们刚刚说的话，是因为每输出一个新的词，都要把前面的所有词拿出来再算一遍。所以即便是写在最开头的内容，也能影响几百个单词之后的续写结果。但这也导致ChatGPT每轮对话的总词汇量有上限——它不得不限制对话长度。就像一个只有七秒记忆的天才金鱼。

现在回到前言中提到的问题：为什么ChatGPT能回答它从未学习过的、网络上不存在的问题？比如一个训练数据里不可能存在的六位数加法——这显然无法通过统计学的方式来预测下一个最高概率的数字。这些统计之外的新能力，究竟是怎么出现的？

今年5月，OpenAI的一项新研究给了我启发。这篇论文叫《语言模型，可以解释语言模型中的神经元》。简单来说，就是用GPT-4来解释GPT-2。当给GPT-2输入文本时，模型里的一部分神经元会被激活。OpenAI让GPT-4观察这个过程，猜测这个神经元的功能；再观察更多的文本和神经元，猜测更多的神经元——最终就能解释GPT-2里面每一个神经元的功能。但问题是，怎么验证GPT-4猜得准不准？验证方法是：让GPT-4根据这些猜想建立一个仿真模型，模仿GPT-2看到文本之后的反应，再和真实的GPT-2结果做对比。一致率越高，就说明对神经元功能的猜测越准确。

OpenAI在网站上记录了他们对每一个神经元的分析结果。比如输入“30, 28”，就能看到第30层第28个神经元的情况。GPT-4认为这个神经元关注的是“具体时间”。下面是各种测试例句，绿色表示神经元对这个词有反应，绿色越深反应越大。可以发现，即便拼写完全不同，这些模型中间层的神经元也已经能根据词语和上下文理解它们的意义了。

但OpenAI也发现，只有层数较低的神经元才是容易理解的。柱状图中，横坐标是对神经元解释的准确程度，纵坐标是神经元的数量。可以看到，对于前几层的神经元，差不多一半都能做到0.4以上的准确度。但层数越高，得分低的神经元就越来越多了——大多数神经元仍然处在一片迷雾之中。

这是因为，对语言的理解本就是难以解释的。就像下面这段对话，中文母语者很快就能理解其中的微妙——但对一个神经网络来说，只靠几个对“意思”有反应的神经元，显然是不够意思的：

A：“你这是什么意思？”
B：“没什么意思，意思意思。”
A：“你这人真有意思。”
B：“其实也没有别的意思。”
A：“那我就不好意思了。”
B：“是我不好意思。”

而GPT似乎真的理解了这些“意思”——它是怎么做到的？

涌现——复杂性的跃迁

“将万事万物还原为简单基本定律的能力，并不蕴含从这些定律出发重建整个宇宙的能力。”——Philip Anderson

1972年，理论物理学家Philip Anderson在《科学》杂志上发表了一篇名为《More is Different》的论文，奠定了复杂科学的基础。安德森认为：“大量基本粒子的复杂聚集体的行为，并不能依据少数粒子的性质做简单外推就能理解。相反，在每一个复杂性的发展层次中，都会呈现全新的性质。要理解这些新行为所需要做的研究，其基础性绝不亚于其他任何领域。”

回看语言模型的结构：信息随着注意力编码层不断往上流动，层数越高的神经元越有能力关注那些复杂抽象的概念和难以言说的隐喻。一篇名为《在干草堆里找神经元》的论文也发现了类似情况：他们找到了一个专门用来判断语言是否为法语的神经元。如果在小模型中屏蔽这个神经元，它对法语的理解能力会立刻下降；而如果在大模型中屏蔽它，几乎没什么影响。这意味着，在模型变大的过程中，一个单一功能的神经元很可能会分裂出多个适应不同情况的神经元——它们不再那么直白地判断单一问题，因而变得更难解释。

看到这里，就能理解OpenAI为什么非得把模型搞得这么大——只有足够大，才足够抽象。而大到一定程度，模型甚至会开始出现从未有过的全新能力。

在《大语言模型的涌现能力》这篇论文中，研究人员对大小不同的语言模型做了八项新能力的测试。结果发现：这些模型在变大之前一直表现不佳，可一旦大到某个临界点，它突然就行了——变成一条上扬的直线，就像在一瞬间顿悟了一样。

回看自然界和宇宙，一个复杂系统的诞生往往不是线性成长的，而是在复杂度积累到某个阈值之后，突然产生一种新的特质，一种此前从未有过的全新状态。这种现象被称为“涌现”。而这个上千亿参数的大语言模型，似乎真的涌现出了一些超越简单数据分类的新东西。

最近读了《失控》这本书，里面也提到了“涌现”的概念，可以理解为“蜂群智慧”。一只蜜蜂很笨，但组成群体就能完成很多超越个体智慧的决策。当然，我并不认为AI的单个神经元是愚笨的。问题是：会不会这种“意识”，也会因为大量功能的迭代和学习，突然涌现出来？就像人类的进化——不知怎么的，意识就产生了。就像这个世界的一切都由原子构成，但如果只计算原子之间的相互作用力，我们永远无法理解化学，也无法理解生命。所以，如果仅从还原论的角度把AI看作只做二元分类的圆圈和线，我们就永远无法理解大语言模型今天涌现出的抽象逻辑和推理能力。为此，我们需要在一个新的层级上重新理解这件事。

中文房间

1980年，美国哲学教授John Searle在论文《心智、大脑和程序》中提出了一个著名的思想实验——中文房间。把一个只懂英文的人关在一个封闭的房间里，只能通过传递纸条和外界对话。房间里有一本英文写的中文对话手册，每一句中文都能找到对应的回复。这样一来，房间内的人就可以通过手册顺畅地和外界进行中文对话，看起来就像会中文一样——但实际上，他既不理解外面提出的问题，也不理解他所返回的答案。

Searle试图通过“中文房间”证明：不管一个程序有多聪明或多像人，它都不可能让计算机拥有思想、理解和意识。真的是这样吗？在“互联网哲学百科全书”这个网站上，可以看到围绕“中文房间”的各种争论——它们都没能互相说服。

这些讨论都停留在思想层面，因为仅靠一本打印出来的手册，中文房间是不可能实现的。中文对话有无限的可能性——即便是同样一句话，上下文不同，回答也不同。这意味着手册需要记录无限多的情况，否则总有无法回答的时候。但诡异的是，ChatGPT真的实现了这一点。作为一个只有330GB的程序，ChatGPT在有限的容量下实现了几乎无限的中文对话——这意味着，它完成了对中文的“无损压缩”。

想象有一个这样的复读机，空间只有100MB，只能放十首歌。要听新歌就得删旧歌。但现在我们发现了另一个神奇的复读机——只要唱第一句，它就可以通过续写波形的方式，把任何歌曲播放出来。我们该怎么理解这个复读机？只能认为——它学会了唱歌。

压缩即智慧

回想GPT的学习过程：它所做的，就是通过它的1750亿个参数，实现了它所学习的4990亿个token的压缩。到了这一步，你会发现：是压缩产生了智能。

Jack Ray，OpenAI大语言模型团队的核心成员，在视频讲座中提过：压缩一直是我们的目标。

下面是我对“压缩即智慧”这个观点的理解。假设我要给你发送“压缩即智慧”这句话——我们可以把GPT当作一种压缩工具，我用它压缩这句话，你收到后用GPT解压。首先得知道这句话的信息量有多大。在GBK编码里，一个汉字需要两个字节（16位0/1）来表示，可以表示2的16次方，也就是65536种可能性。这句话一共5个字符，需要80位0/1，也就是80比特。但这句话的真实信息量其实可以小于80比特——它可以用一个公式来计算：

这是1948年香农给出的信息熵定义。它告诉我们，信息的本质是一种概率密度。把这里的P理解为每个字出现的概率，它们出现的概率越低，整句话的信息量就越大。如果这句话里的每个字都是毫无规律地随机出现，那么P就是1/65536，计算后的信息量就是原始的80比特。传统压缩方法是找到重复的字，但几乎不重复的句子就很难压缩。更重要的是，正常的语言是有规律的——“压”后面跟着“缩”的概率远大于1/65536——这就给信息进一步压缩留出了空间。语言模型所做的，正是在压缩的过程中找到语言的规律，提高每个字出现的概率。

我们可以这么做：只发送“压缩”两个字，让语言模型开始续写。预测的概率表里会出现接下来的词，我们只需要选择“即”和“智慧”所在的位置，比如（402，350）。这两个数字就实现了信息的压缩。接收方基于这些信息，从相同语言模型的概率表里选出数字对应的选项，就完成了解压。两个最大不超过5000的数字，每个数字只需要13位0/1就能表示，加上前两个字，一共只需要发送52位0/1——信息被压缩到原来的52/80，约65%。

反过来，如果语言模型的预测效果很差，后续文字的词表还是会很长，无法实现很好的压缩效果。所以可以得出一个结论：压缩效果越好，意味着预测效果越好，也就反映了模型对压缩信息的理解——而这种理解本身就是一种智能。为了把九九乘法表压缩得足够小，它需要理解数学；如果把行星坐标压缩得足够小，它可能就理解了万有引力。

今天，大语言模型已经成为无损压缩的最佳方案，可以实现14倍的压缩率。压缩这一视角最大的意义在于：相比于神秘莫测的涌现，它给了我们一个清晰明确、可以量化机器智能的方案。即便面对“中文房间”这样的思想实验，我们也有了研究这个房间智能程度的办法。

但是——通过压缩产生的智慧，和人的心智真的是同一种东西吗？

写在最后

如果要问现阶段GPT和人类说话方式最大的不同是什么，我认为答案是：它不会说谎。对于语言模型来说，“说”和“想”是一回事——它只是一个字一个字地把自己的思考过程和心理活动说出来了而已。GPT从不回答“我不知道”——因为它根本不知道自己不知道。这就是AI的幻觉：一本正经地胡说八道，它只是想让对话继续下去，结果是否正确反而不那么重要。解决这个问题的方法也很简单：只需要在提问时多补充一句“Let‘s think step by step”（请逐步分析），让GPT像人一样多想几步——对它来说，就是把想的过程说出来。这种逐步分析的能力，也叫做Chain of Thought——思维链。

心理学家Daniel Kahneman把人的思维划分为两种：系统一是直觉的、快速的、无意识的；系统二则需要主动运用知识、逻辑和脑力来思考。前者是快思考——就像脱口而出“八九七十二，九九八十一”；后者是慢思考——要回答“72乘81是多少”，必须列出过程一步步计算。思维链的存在意味着，大语言模型终于具备了推理能力。而为了做到这件事，我们的大脑进化了6亿年——可以在6亿年前的水母身上看到神经网络最古老的运作方式。水母外围的触角区域和中心的嘴部区域都有神经元：当触角感知到食物时，这里的神经元会被激活，然后把信号传给中心的神经元，食物就会被这个触角卷起来送到嘴里。在漫长的岁月里，我们的大脑就在神经网络的基础上，一层一层地叠加生长出来。

首先进化出来的是爬虫类脑——这部分和青蛙的脑子有点像，控制着心跳、血压、体温等“保命”功能。然后是古生物脑——支配着动物本能：饥饿、恐惧、愤怒的情绪、繁衍的欲望，都来自边缘系统的控制。而最外侧那两毫米左右薄薄的一层，是最近几百万年才进化出来的新结构——新皮质。我们人类引以为傲的那些能力——语言、文字、视觉、听力、运动和思考，都发生在这里。但对新皮质的了解仍然非常有限。目前已知的是，这里有大约200亿个神经元，每一平方厘米的新皮质中大约有一千万个神经元，以及500亿个神经元之间的连接。只需要从人类大脑外侧取下一小片三平方厘米的新皮质，其复杂程度就已经和ChatGPT那庞大得吓人的参数量相当了。而我们的大脑之所以需要这么多神经元，是因为GPT只需要预测下一个词——我们的神经元却要时刻预测这个世界下一秒会发生什么。

最近几十年的神经科学发现：除了能激活神经元的突触信号，还存在大量负责预测的树突脉冲信号。一个处于预测状态的神经元，如果得到足够强的突触信号，就能比没有预测状态的神经元更早被激活，进而抑制其他神经元。这意味着，一个事无巨细的世界模型就存储在我们新皮质的200亿个神经元里——而我们的大脑永远不会停止预测。所以当我们“看到”一个东西时，看到的其实是大脑提前构建的模型：如果它符合我们的预测，无事发生；一旦预测错误，大量其他神经元会被激活，让我们注意到这个错误并及时更新模型。每一次错误都有它的价值——我们正是在无数次的预测错误和更新认知中，真正认识了世界。

现在可以试着回答最初的问题了：GPT或许尚未涌现心智，但它已经拥有了智能。它是一个“大”语言模型——几百万个圆圈和线互相连接的分类器；是通过预测下一个词实现文字接龙的聊天大师；是不断向上抽取意义的天才金鱼；是对几千亿文字实现无损压缩的复读机；是不论对错永远积极回应的助手。它可能是一场快速退潮的科技热点，也可能是人类最后一项最重要的发明。从围棋、绘画、音乐到数学、语言、代码——当AI开始在那些象征人类智力和创造力的事情上逐渐超越时，给人类带来的最大冲击，不只是工作被替代的恐惧，而是一种更深层的自我怀疑：人类的心智，是不是比我们想象的要浅薄得多？

我不这么认为。

机器可以是一个精妙准确的复读机——而人类是一个会出错的复读机。缺陷和错误定义了“我们是谁”。每一次不合规矩、每一次难以理解、每一次沉默、停顿和凝视，都比不假思索的回答更有价值。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：ChatGPT是否已产生心智及其原理探析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题