大型语言模型,例如为流行的人工智能聊天机器人ChatGPT提供支持的模型,非常复杂。

说实话，虽然这些庞然大物已经在客户支持、代码生成、语言翻译等领域大显身手，但科学家们至今也没完全搞懂它们内部到底怎么运作的。最近，麻省理工学院和几个合作机构的研究人员决定深入扒一扒它们的“底裤”——看看这些模型在检索存储知识时，究竟用了什么骚操作。结果令人大跌眼镜：大型语言模型（LLMs）居然往往只用一种简单到不行的线性函数来恢复和解码存好的事实。而且，对于同一类型的事实，模型会反复使用同一个解码函数。线性函数嘛，就是两个变量、没有指数、画出来是一条直线的方程，说白了就是中学数学那套。

研究人员发现，一旦搞清楚了每个事实对应的线性函数，他们就能像做CT扫描一样，看看模型对某个新主题到底知道多少，以及这些知识藏在模型哪个犄角旮旯里。更有意思的是，利用他们开发的那套估算简单函数的技术，他们发现：就算模型给出的回答是错的，它内部多半已经存对了——只是没把正确的信息吐出来而已。将来，科学家或许能靠这种方法找到模型里那些“瘤子”信息，然后动手矫正，从而减少AI胡说八道或答非所问的倾向。

“这些模型本质上是极度复杂的非线性函数，在巨量数据上训练，很难搞明白。但有时候，它们内部偏偏藏着极其简单的机制——我们找到的就是一个活生生的例子。”电气工程和计算机科学（EECS）研究生、论文^[1]共同第一作者Evan Hernandez这样说。这篇论文是他与东北大学的Arnab Sharma（另一位共同第一作者）、他的导师Jacob Andreas（EECS副教授、CSAIL成员）、资深作者Da vid Bau（东北大学计算机科学助理教授），以及麻省理工学院、哈佛大学和以色列理工学院的研究人员一起完成的。成果将在国际学习表征会议上展示。

寻找事实

大多数大型语言模型（也叫transformer模型）本质上是神经网络^[2]，模拟人脑的结构：数十亿个相互连接的节点或神经元，分成好多层，一层层地编码和处理数据。Transformer里存的大部分知识，都能表示为连接“主体”和“客体”的关系。打个比方，“Miles Da vis演奏小号”就是一个关系：主体是Miles Da vis，客体是小号。

随着transformer学到越来越多的东西，它会在多个层里存下关于同一个主体的额外事实。当用户问到那个主体时，模型得从众多事实里挑出最相关的那一个来回答。比如，如果你提示它“Miles Da vis演奏…”，它应该回答“小号”，而不是“伊利诺伊州”（那是他出生的地方）。

“在网络的运算中，必须有一种机制去定位‘Miles Da vis演奏小号’这个事实，然后把信息提取出来，帮它生成下一个词。我们就是想搞清楚这个机制是什么。”Hernandez说。

研究人员设计了一连串实验来探测LLMs，结果发现：尽管模型本身复杂得要命，它们在解码关系信息时却用了简单的线性函数。每个函数只对应一种类型的事实。比方说，每次transformer要输出一个人演奏的乐器，它就用同一个解码函数；如果要输出一个人出生的州，就用另一个不同的函数。

他们开发了一套方法来估算这些简单函数，然后给47种不同的关系算出了函数，比如“国家的首都”、“乐队的主唱”等等。尽管理论上关系可以有无限多种，研究人员特意挑了这47种，因为它们正好能用“主体-关系-客体”的方式写出来。接着，他们通过换主体来测试每个函数，看它能不能准确找回对应的客体信息。例如，“国家的首都”这个函数，当主体是挪威时应该返回奥斯陆，当主体是英格兰时应该返回伦敦。实验结果显示，函数超过60%的情况下能检索到正确答案——说明transformer里至少有一部分信息确实是靠这种线性方式编码和提取的。

“但并不是所有东西都是线性编码的。有些事实，就算模型知道，也会预测出跟这些事实一致的文本，我们却找不到它们的线性函数。这说明模型用了更复杂的手段来存储那部分信息。”他补充道。

可视化模型的知识

这些函数还能帮研究人员摸清模型对不同主题的真实“想法”。在一项实验中，他们用提示“比尔·布拉德利是一个”作为起点，然后分别调用“从事体育运动”和“上过大学”这两个解码函数，看看模型是否知道这位参议员曾经是篮球运动员、上过普林斯顿大学。

“我们可以证明，就算模型在生成文本时可能更关注某些信息，它确实把所有相关信息都编码进去了。”Hernandez说。

利用这种探测技术，他们生成了一种叫“属性镜头”的网格——一个可视化工具，能显示出某个关系的具体信息在transformer无数层里的准确位置。属性镜头可以自动生成，为研究人员提供了一种更简单的途径来了解模型。有了这种可视化手段，科学家和工程师就能更容易地纠正模型存储的错误知识，从而帮助防止AI聊天机器人散播虚假信息。

接下来，Hernandez和他的合作者打算重点研究那些事实不是线性存储的情况，也想用更大的模型做实验，并检验线性解码函数的精确度到底有多高。

“这项工作令人兴奋，它补上了我们对LLM在推理过程中如何回忆事实知识的理解中缺失的一环。之前的研究表明，LLM会为给定主题构建信息丰富的表示，然后在推理时从中提取特定属性。而这篇工作进一步指出，LLM用于属性提取的复杂非线性计算，其实可以用一个简单的线性函数很好地近似。”特拉维夫大学计算机科学学院助理教授Mor Geva Pipek（未参与本研究）评价道。

本研究获得Open Philanthropy、以色列科学基金会和Azrieli基金会早期职业教师奖学金的部分资助。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大型语言模型采用简单机制检索存储知识要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题