甲小姐对话田渊栋：Scaling Law预示悲观未来

在人工智能领域，研究者们的底层技术信仰往往决定了他们能抵达的边界。当一切尚未被实践验证时，驱动他们前行的，是那些关于是与非、能与否的朴素直觉。而当下，一个根本性的问题正摆在整个行业面前：Scaling law，真的是唯一至上的技术纲领吗？

大模型的Scaling law最早由OpenAI在2020年提出，其核心内涵是：模型的最终性能，主要与计算量、参数量和训练数据量三者相关，而与具体网络结构（层数、深度、宽度）基本无关。放眼全球，这条定律被无数从业者奉为圭臬。但聚光灯之外，也总有一些“少数派”在发出不同声音。Meta FAIR研究员、高级经理田渊栋，就是其中之一。

田渊栋博士毕业于卡耐基梅隆大学机器人系，今年是他加入Meta的第十个年头。他的“组长”是图灵奖得主杨立昆（Yann LeCun）。早在2013年于谷歌无人驾驶团队任职时，他就种下了对Scaling law怀疑的种子。2019年，OpenAI联合创始人伊利亚·苏茨克维（Ilya Sutskever）曾力邀他加入，但他选择了另一条路——深入理解神经网络的工作原理。

五年后的今天，即使大模型将Scaling law推上神坛，他依然坚信：Scaling law也许是对的，但不会是全部。它本身，代表着一个非常悲观的未来。

1. 谈趋势：“技术的最高境界是变成水和空气”

“从计算的角度来说，交互一定要基于生成。”田渊栋认为，模型数据“从哪来”“怎么训练”是未来制约AI发展的关键瓶颈。生成式的优势在于，不需要无限的人力去标注数据，而是直接生成缺失的部分，这套方法已被证明行之有效。从人机交互方式看，搜索并非最自然的路径。技术的最高境界，是化作水和空气——你感觉不到它的存在，却能随时随地获得便利。

“搜索是后天习得的，但对话式交互已经历经几万年的演化，对人类的‘吸力’特别强。”他预测，当互动小说、互动视频乃至可互动的三维世界出现时，生成式AI与交互将百分之百融合，人类一定会沉浸其中。

对于“生成式”的定义，田渊栋给出了清晰的边界：生成式和数据库是对应的。数据库里是静态的、被检验过的固定数据，无法应对人类世界无穷的多样性；而生成式能解决这个难题。从供给视角看，数据库和生成式是一段连续光谱的两端——一端由人类提供所有数据，另一端由AI自主生成。

“生成”与“非生成”的本质区别在于，是否需要人类输入大量重复劳动的内容。一个厉害的雕塑师，不需要看过所有物件就能创造新作品，生成式AI给人的正是这种期许。

2. 谈判断：“Scaling law代表非常悲观的未来”

在田渊栋看来，Scaling law距离真正具备数据效率（Data efficiency）的AGI，至少还有2到3个突破。它的本质，是用指数级的数据增长，来换取几个百分点的性能提升。最终人类世界会有大量长尾需求，这些场景的数据本身就很少，LLM无从获取。Scaling law发展到最后，可能每个人都站在一个“数据孤岛”上——孤岛内的数据完全属于个人，且每时每刻都在产生。

他并不掩饰自己与无人车经历的关系。“我画过一张图，一开始数据量越大，模型performance越好，但模型越接近人类，就越难获取新数据，最后总会有些corner case解决不了。这是最大的问题。车比LLM更难，因为模型表现必须达到100分才能上路，99分就是0分。”所以，他“第一个跑了”。

为什么如今那么多人笃信Scaling law？田渊栋认为，这是一个范式转变。过去NLP领域有个笑话：每开除一个语言学家，NLP模型的性能都会上升。但人类永远只会想自己沿已有的分叉走能拿多少利益，很难主动开辟新路。只有在某个方向撞墙之后，大家才会发现Scaling law有问题，才会往回走。

模型跟高速公路不一样。高速公路建设有标准流程，但训练大模型没有标准，很多东西都要调参。每一次训练，数据策略的不同都会导致截然不同的结果。继续训练也有问题——模型可能已被旧数据“训练坏了”，偏见或错误理解很难用新数据纠正，更好的方式是从头开始预训练。

关于Sora是否为“世界模型”，田渊栋的答案是肯定的：“只要能预测未来的具体形态，都是世界模型。Sora生成的每一帧都是对世界的预测。”

3. 谈选择：“还是要做一些独一无二的工作”

“虽然现在Scaling law很火，但一味跟风亦步亦趋，并不是我的风格。”田渊栋的方向宽泛上属于LLM，但根本上，他做的是理解模型工作原理的基础研究。

2019年，Ilya邀请他加入OpenAI时，GPT-3还没出来，正是OpenAI最困难的时候。“他说他要做语言模型，我说我要尝试理解神经网络模型的工作原理，所以就没去。总之我觉得我这条路会一直走下去。”

谈到明星项目LLaMA或Gemini，他认为大团队有好处也有坏处——好处是资源更多，坏处是个人贡献可能只有千分之一。“每个人都有自己独一无二的地方，就看大家工作的目的到底是什么了。”

对于导师LeCun，田渊栋表示认同：“他说‘LLM不是未来，还有很多新架构需要调整’，这我觉得是对的。现在LLM的方式还是有问题，它的学习效率没有人那么高。”在他看来，AGI的定义需要修改——AI能用和人类同样甚至更高的效率学习新知识，完成从未见过的工作。

4. 谈信仰：“我相信基于神经网络的AI模型是可解释的”

“硅谷其实没有什么主流、非主流之分，因为每个人都会有自己的方法，并不是所有人都要学OpenAI。也许下一次科技革命的驱动就是从这些非主流开始的。”田渊栋的赌注是：我们最终能理解模型到底是如何被训练出来的。

他所追求的“理解”，是理解神经网络学习的动力学机制——如何从数据中学到结构，什么样的结构能被学到，需要多少样本，效率多高，并用数学语言描述整个学习过程，在此基础上找到更好的训练方法。

对于想入局AI的人，他的建议非常直接：如果你不做自己的赌注，就只能跟随他人，很难走远。有赌注的好处是，你可以一辈子一直走下去，人生不会觉得无聊。OpenAI的成功会让他调整策略，但不会动摇信念：“我依然认为自己是正确的。”

面对无数VC的创业邀约，他选择留在研究部门。“我喜欢做一些比较厚实的东西。从0到1的事我会在研究部门做；从1到100，世界上有很多很多人做得比我好得多。”

5. 谈终局：“每个人都找到独一无二的方式去探索世界”

当AI解决了人类社会99%的问题，人类该如何自处？田渊栋的答案是：最终的结局应该是，每个人都找到独一无二的方式去探索世界。社会应该为所有人提供“躺平”选项，因为人人都为五斗米折腰的结果，就是所有人都同质化，这对未来发展不利。

“当你‘求生存’的时候，所有人都会想怎么赚钱，怎么找到保守的最佳路径，最后的结果就是大家都很同质化。但未来世界不需要这些。每个人都应该有勇气去走一条别人没走过的路，把这条路上的风雨分享给别人。”

面对“真假难辨”的生成式世界，他认为人类穷尽一生也无法完全理解世界，这本来就是事实。但最终人类会和AI结合。自我意识起源于人类大脑对自己的建模，如果AI与人类完全融合，可能会形成一个整体意识——你分不清某个念头到底是AI产生的还是你自己产生的。

“我们应该放弃‘大脑是人类的控制器’的执念。我们身体的每一部分都对我们的行为表现有一票投票权，只是以后AI也会有一票而已。”当然，眼下的AI，还只是工具。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：甲小姐对话田渊栋：Scaling Law预示悲观未来要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题