人工智能领域是否存在第一性原理

实现通用人工智能，也就是我们常说的AGI，是个长远目标。要通往这个目标，基础研究是关键起点。正如一句老话所说，“基础研究是整个科学体系的源头，是所有技术问题的总机关”。这句话点明了AI基础理论研究的核心意义。因此，加强AI的数学与物理基础研究，把“第一性原理”作为出发点，或许是发展新一代AI基础理论的一条可行路径。

人工智能领域存在第一性原理吗？

古希腊哲学家亚里士多德对第一性原理有个经典表述：“在每一个系统的探索中，存在第一性原理，这是一个最基本的命题或假设，不能被省略或删除，也不能被违反。”在20世纪以前，这个概念主要活跃在哲学、数学和理论物理领域。在数学里，它就是公理，无法从系统内其他公理推导出来；在理论物理中，则是指直接基于物理定律进行计算，不做经验模型或拟合参数假设。生物学的第一性原理，可以追溯到达尔文的“物竞天择、适者生存”。到了近代，这一思维已扩展到生命科学、化学、经济等多个学科。 随着认知的发展，第一性原理从哲学术语衍生出更专业的表述，有的甚至不再直接使用这个词，而是用同义词替代。哲学里叫“先验原理”，数学统一用“公理”，物理学则延续了“第一性原理”的叫法。 那么，人工智能到底有没有第一性原理？这是个有争议的话题。有人认为不存在，理由是：第一性原理是在特定领域内定义了问题空间的边界，而AI领域要先定义清楚什么是“智能”。目前对“智能”尚无公认的精确定义。学界有两个参考定义：一个是斯坦福大学尼尔斯·约翰·尼尔逊教授提出的——“AI是关于知识的学科，即怎样表示知识、怎样获得知识并使用知识的科学”。另一个是麻省理工学院帕特里克·温斯顿教授的观点——“AI就是研究如何使计算机去做过去只有人类能做的智能工作”。 持“没有第一性原理”观点的人，常引用尼尔逊教授《人工智能原理》一书中的话：“AI目前没有通用理论，因此接下来向您展示一些应用程序。”这等于说，AI现在没有第一性原理，我们该关注的是与工程目标相关的衍生原理。这些衍生原理揭示的往往是复杂系统的简单结果，无论是自然系统还是AI，其本质可能就是如此。智能是许多过程并行发生和相互作用的结果，很难追溯到某个基本的物理原理。 这种观点，本质上是从技术角度去看待AI，把它看作一个建立在实验基础上的学科。物理学家张首晟在一次演讲中提到过第一性原理的思维方式：在20世纪以前，这个概念属于基于归纳、演绎的逻辑自洽学科，如数学、哲学和理论物理，它们的理论基石都可称为第一性原理。这与化学、生物等实验学科有明显区别。 到了21世纪，情况有了变化。实验学科也开始涌现基于第一性原理的成果。例如，美国圣塔菲研究所所长戴维·克拉考尔在《理论生物科学》上发表了一篇题为“个体信息理论”的文章，试图用第一性原理的数学形式化理论，通过捕捉过去到未来的信息流，来严格定义各种不同形式的个体。当然，也有质疑声，认为其引入的调节参数γ，让人质疑其“科学立场”。 不同观点碰撞很正常。目前公认的情况是，以深度学习为主导的AI，确实缺乏严格的理论基础。但计算机技术本身就是先有技术，后有科学理论。图灵奖得主雅恩·乐昆就说过，理论往往是在发明之后才构建起来的，比如蒸汽机发明在热力学之前，可编程计算机在计算机科学之前。而一旦有了理论基础，即使只是概念性的，也能极大加速领域进展。 尼尔逊教授的《人工智能原理》出版已逾40年。如今AI理论在发展，我们的认知也在提升，是时候重新思考这个问题了。李国杰院士就认为，AI与计算机科学本质上是同一门学科。AI系统就是用计算机技术对信息加工处理的系统。既然是一个系统，那就应该存在第一性原理。 我们知道，机器学习是AI的一个子集，而AI基础研究建立在数学和物理之上。北京交通大学于剑教授出版了《机器学习：从公理到算法》，这本书就是基于公理来研究学习算法，实际上是把数学的第一性原理应用于机器学习，堪称一个典范。 由于物理是基础科学，它的第一性原理可以自然应用到许多学科。物理的第一性原理也叫“从头计算”，即只用最基本的物理学定律和少量实验数据（如电子质量、光速）去做量子计算。当我们研究基于物理的AI时，借用物理的“从头计算”作为AI的第一性原理，似乎是顺理成章的。但“从头计算”是狭义的理解，广义的第一性原理，是“最小作用量原理”。

为什么是基于物理的人工智能？

数学和物理不仅是其他学科的基础，更是AI的基石。为什么选择物理学作为研究AI基础理论的切入点？因为物理学研究物质运动最一般的规律和基本结构，是自然科学的带头学科。著名物理学家斯蒂芬·霍金在他的《大设计》一书中宣称“哲学已死”，理由是哲学跟不上科学，特别是物理学现代发展的步伐。这个说法虽然引发争议，但也从一个侧面说明了物理学对哲学的推动作用。 雅恩·乐昆在IJCAI 2018上的演讲，指出了当前AI系统的几个明显缺陷：缺乏独立于任务的背景知识，缺乏常识，缺乏预测行为后果的能力，缺乏长期规划和推理的能力。简言之，就是没有“世界模型”，缺乏关于世界运行的通用背景知识。未来的AI研究需要形成一种新型理论，目标是构建可实现的世界模型。也有学者认为，我们需要一套新的数学语言和框架来描述神经网络和神经系统。那么，这个新框架在哪里？目前学术界还没有统一答案。但从趋势看，基于物理的AI框架或许是最有希望的方向之一。 对于AI缺乏常识的问题，基于物理的AI框架提供了一种解决思路。要让AI拥有常识，得先搞清楚什么是常识。通俗讲，常识就是大部分人都知道的普通知识，比如生存技能、基础劳作、烟花爆竹科学知识。更专业的释义是：从事各项工作和学术研究所需具备的相关领域基础知识。而这些基础知识，本质上都源于对自然规律、自然现象或人类社会活动的归纳总结。

如何让人工智能具有常识？

雅恩·乐昆解释过AI为什么没有常识：“我们没有能力让机器去学习庞大的背景知识，而婴儿在出生以后的最初几个月里就可获得关于这个世界的庞大的背景知识。”这意味着，AI要掌握常识，必须搞清楚物理世界的运作方式并做出合理决定，它们需要获取大量背景知识，了解世界运行规律，才能进行准确预测和计划。这本质上是一种归纳性思维，而人类的常识，大多正是通过归纳法获得的。 那么，为什么让AI具有常识这么难？数十年来进展甚微，可能的原因之一，就是没有按照第一性原理思考。很多学者举例说AI没有常识时，潜意识里认为AI的常识包括了所有领域的基础知识。其实，常识是领域相关的，有生活常识、劳动技能，也有自然科学常识。如果一上来就想让AI拥有人类所有的常识，不考虑领域相关性，那实际是在以AGI的标准要求它。但主流AI学界目前努力的方向并非AGI，现有技术也不会自动通向AGI。目前能实现的，都是特定类型的智能行为，即“弱人工智能”。事实上，我们完全有理由怀疑，即使能精确模仿神经细胞的行为，也无法还原出智能行为。因此，依据第一性原理思维，我们需要在复杂的现象中找到最根本的原理，从源头解决问题。这就像新加坡国立大学颜水成教授提出的“婴儿学习”方法——模拟婴儿自学习，逐步获取知识。 为了让AI拥有常识，我们必须化繁为简，先把常识限定在特定领域，比如将掌握物理科学常识作为首要目标。用第一性原理的思维方式，把基于物理的科学常识“灌输”给AI。也就是说，我们需要转变思路：从纯数据处理逻辑，迈向某种形式的“常识”——从基本物理原理出发，让AI先掌握科学常识，再学习推理。 为什么首选基础的自然科学常识，而不是生活常识或其他？因为基础自然科学常识背后的物理原理有明确定义，可以用数学公式描述。第一性原理是通过少数公理演绎出事物状态，而物理定律往往用偏微分方程表达。牛顿的《自然哲学的数学原理》定义了经典力学的基本概念和三大定律，使经典力学成为一套完整理论体系。从物理定律出发，用牛顿力学公式演绎出各种运动现象，至少能让AI具备能用经典力学解释的自然科学常识。 这方面已经有成功案例。AAAI 2017的最佳论文《基于物理和领域知识的神经网络无标签监督》，就是基于万有引力定律推算出枕头的运动轨迹，利用网络输出必须满足物理定律的约束来训练神经网络，实现了无标签监督学习。这里的常识很简单：一个物体如果没有其他外力作用，就会在重力作用下自由落体。类似的，我们自己的IJCNN 2017论文，本质上也是基于惠更斯-菲涅尔成像原理，实现了光谱图像校正的无标签监督学习。 基于第一性原理思维需要投入更多精力，构建世界模型的计算量可能比模仿计算更大。一方面，目前算力还不足以让机器学习所有庞大的背景知识，但只限定于基础自然科学背景知识，还是有可能的。GPT-3拥有1750亿个参数，训练数据达到45TB，这说明算力已大幅提升。另一方面，可以运用物理思维做合理近似，简化问题复杂度，把不可计算的问题约减为可计算的。比如基于平均场理论，把多体问题近似为两体问题。数学家总想精确求解，而物理学家会在无法精确求解时采用近似方法。有人戏称数学家爱把简单问题复杂化，而物理学家则尽力把复杂问题简单化。这算得上研究基于物理的AI的一个重要理由。 追求和谐、统一与完美，是物理学家的最高境界，也是AI科学家追求的境界。AI的第一性原理，应该是对完美追求的典范。物理学中的最小作用量原理，就是一个极其简单而优雅的原理，可视为整个物理学的第一性原理。它在热力学、流体力学、相对论、量子力学、粒子物理学和弦理论中都有广泛应用。物理学家理查德·费曼对此有非常精彩的讲解。在具体实现上，从可操作性角度考虑，我们认为应该将最小作用量原理作为AI的第一性原理，期望能在它上面建立基于物理的AI宏伟大厦。

为什么要用和如何应用第一性原理？

近几百年来，哥白尼、牛顿、爱因斯坦、达尔文等科学巨匠推动了科学革命。他们的共同思维方式，都是简洁而优美的第一性原理。爱因斯坦说过：“适用于科学幼年时代的以归纳为主的方法，正在让位于探索性的演绎法”，应该“由经验材料作为引导，研究者宁愿提出一种思想体系，它一般是在逻辑上从少数几个所谓公理的基本假定建立起来的”。这段话不仅指出了第一性原理思维，还强调了要用演绎法。第一性原理的本质，正是逻辑学中的演绎思维。 我们知道，深度学习是机器学习的子集，机器学习又是AI的子集，其局限之一在于无法解释因果关系。因果关系是一个事件与另一个事件之间的作用关系。一般来说，一个事件可能是多个早期原因综合作用的结果，而它又会成为后续事件的原因。哲学上有一种说法：“第一性原理是超越因果律的第一因，且是唯一因，同时第一性原理一定是抽象的。”第一性原理思维与因果关系紧密相连，这可能为解决AI无法解释因果关系的问题提供新思路。 思维逻辑和观察视角直接影响对问题的理解，基于第一性原理思维无疑能加深对问题的理解。这方面有个企业界的成功典范：“钢铁侠”埃隆·马斯克。在一次TED采访中，他公开了成功的秘密——第一性原理思维。可以理解为，用物理学的角度看待世界，层层剥开表象，看到本质，再从本质向上构建。马斯克的思维方式带动了企业家们依据第一性原理进行碘伏式创新。 在AI基础研究领域，基于第一性原理构建世界模型是一个科学问题。而在自然语言处理领域，GPT-3虽然在50多种任务上表现惊艳，但只是证明了现有技术的可扩展性，不可能走向AGI。从文献来看，GPT-3的基础架构并无本质变化，依然是基于大数据（45TB）、大模型（1750亿参数）、大算力（超过28.5万CPU内核、1万GPU的超级计算机）的神经网络AI。论文也验证了数据越大、参数量越大，性能越好的观点，但同时也暗示了仅靠增加算力的局限性，算法设计方面没有突破。 尽管GPT-3潜力巨大，但基于深度学习的AI仍然存在偏见、依赖预训练数据、缺乏常识、没有因果推理能力、缺乏可解释性等问题。它无法理解任务本身，也无法判断命题是否有意义。凯文·拉克的博客展示了对GPT-3的图灵测试：问“我的脚有多少只眼睛？”它回答“你的脚有两只眼睛。”当句子涉及多个物体时，GPT-3体现出短时记忆有限、不会举一反三、推理困难的缺陷。 第一性原理思维是一种演绎性思维，强调坚持不懈地追求问题本质，然后用这些基础知识解决问题。基于这种思维，我们从宏观、介观到微观三个层次分析一下GPT-3。从宏观看，AI系统由软件和硬件组成。硬件上，GPT-3仍采用冯·诺伊曼体系结构：二进制数制，顺序执行指令。采用二进制是因为半导体器件中高低电平的表示。从基本元器件到运算器、存储器，直至超级计算机，都是人设计制造的。计算机指令采用二进制编码，有确定性的机器指令集，产生的随机数也是伪随机数，无法像高等生物那样自主产生意识。现有AI芯片只是将算法硬件化，没有真正突破核心算法。从软件看，GPT-3与GPT-2采用相同架构，只是融合了稀疏自注意力机制。在冯·诺伊曼体系结构与当前深度学习算法下，依据“无限猴子定理”，理论上需要无限长时间才能产生一部《红楼梦》，而让GPT-3在有限时间内生成类似著作的概率无限趋近于零。即使生成可读文本，它也完全无法理解其含义。因此，在现有架构下，GPT-3不会走向AGI，更谈不上什么“硅基文明崛起”。这是基于第一性原理思维得出的清晰结论。 《MIT技术评论》一篇文章评论GPT-3是“令人震惊的好”和“完全没有头脑”。至于未来GPT-3能否迈向AGI，技术新闻网站The Verge的报道给出了两种观点：一方认为我们需要让计算机先理解因果关系，才能接近人类智能；另一方则认为，向问题投入更多数据和提高算力就能解决。OpenAI属于后者，坚信巨大算力配合强化学习是通往AGI的必经之路。但大多数AI学者，包括图灵奖得主约书亚·本吉奥和雅恩·乐昆，基本属于前一阵营，认为AGI不可能实现。从第一性原理出发，我们得出的结论同样是不可能实现AGI。对此必须有清醒认知：受物理规律制约，深度学习框架的天花板很快就会来临。如果在基础理论上没有突破，深度学习框架就不可能发展成所谓的“硅基文明AGI”。GPT-3没有产生技术革命，只是在应用上取得了重大突破。未来我们依然面临很多问题，需要从第一性原理出发，重新构建AI基础理论框架，才能赋予AI常识，发展出可解释的AI。

结束语

正如清华大学张钹院士所说，在探索通往AGI的道路上，“现在走得并不远，在出发点附近”。路线正确至关重要。即使AI从业人员众多、算力强大，但如果路线错误，就可能走很多弯路，甚至陷入局部极值的困境。在AI基础研究领域，正确的路线之一，也许是摒弃纯粹的类比思维，转而采用第一性原理的思维方式。 我们的最终期望是，以第一性原理为出发点，在不久的将来先实现一个小目标：让AI掌握基于物理规律的科学常识，真正告别“人工智障”的尴尬局面。本文也希望抛砖引玉，推动在演绎性思维模式下的创新，为AI基础理论带来碘伏性突破。