海德堡论坛AI大咖观点 Raj Reddy与LeCun等演讲精华

随着算力持续突破、技术不断成熟，深度学习已从实验室走向产业应用，成为驱动各行业智能化转型的核心动力。技术浪潮奔涌之际，一个更深层的议题日益凸显：如何从模型设计到部署落地，确保人工智能始终服务于人类福祉？这不仅是技术专家的课题，更是每一位AI开发者与使用者需要共同思考的命题。

今年九月，在第九届海德堡获奖者论坛上，三位图灵奖得主Raj Reddy、Yoshua Bengio、Yann LeCun，2011年ACM计算奖得主Sanjeev Arora，以及多位顶尖学者共聚一堂，围绕深度学习的现状、挑战与未来展开深度对话。这场思想交锋，或许能为AI的未来发展提供重要指引。

1 深度学习：概念演进与理论挑战

讨论从定义开始。Yann LeCun提出了一个包容性视角：深度学习可理解为通过组合功能未完全定义的模块构建系统，并利用梯度下降优化目标函数。这一定义不仅涵盖神经网络，也与早期模式识别思想有内在联系。

概念本身持续演进。有观点主张以“可微分编程”重新命名，其核心在于程序中的函数可在训练过程中动态调整，可视为对深度学习的一种泛化。

Sanjeev Arora从理论层面指出关键挑战：仅用损失函数定义深度学习可能不够。相同损失函数可能产生不同结果，真正影响性能的常是训练算法中隐含的“偏好”，即“隐式偏差”。目前我们对黑箱内部机制的理解仍有限。理想情况下，需要一个更宏大的理论，统一解释训练算法、网络架构与损失函数如何协同产生智能。这一点在无监督预训练与迁移学习日益主流的今天尤为重要——现有理论尚难充分解释此类范式。

DeepMind科学家Shakir Mohamed提供了另一框架：将机器学习视为“模型构建”与“推理”的结合。模型描述数据生成过程，推理则将数据转化为参数更新。深度学习的优势源于其对模型结构（如组合性、递归性）、损失函数与优化算法的特定选择。通过拆解“构建何种模型”、“为何构建”、“如何推理”、“使用什么算法”等核心问题，或能更清晰把握其本质。

Yoshua Bengio对此表示赞同，并强调需更系统理解各类深度学习架构中的“归纳偏差”。在设计下一代系统时，我们应有意识思考：希望模型在函数或分布空间中具备何种偏好？如何将这些偏好融入目标函数之外的学习机制？这可能是实现类人推理的关键。他相信，通过将特定结构融入架构，引发类似人类的推理过程，是完全可行的。

2 提升AI推理能力：路径与挑战

话题自然转向AI的“阿喀琉斯之踵”：推理能力。一位自动驾驶研究者提出尖锐问题：如何将感知系统产生的具体知识与人类符号知识关联？例如，人类司机可凭常识与世界模型应对交通灯故障等意外，而当前AI系统易陷入混乱。

Yann LeCun承认，将感知数据转化为符号表示虽是深度学习所擅长的，但仍不完美。这类系统通常脆弱，一旦任务超出训练范围，性能可能骤降。如何实现可靠推理是活跃研究方向。他近期亦发表论文，专门探讨如何使推理与深度学习兼容。

Yoshua Bengio持乐观态度。他认为连接符号知识与数据知识是可行的，关键在于设计不同架构并将推理作为核心组件。深度神经网络的组合能力——从多层模块到注意力机制——是优势所在。未来可能需要更多动态组合方式，以整合高级甚至符号性知识进行推理。注意力机制是潜在路径，但这仍是开放挑战。

Sanjeev Arora提出了关于“解释”的难题。对于在长时序中运行的自治系统（如自动驾驶汽车），其决策是动态过程，我们很难像解释人类行为那样，为每一步提供简洁理由。人类依赖诸多认知“捷径”，但这些对AI是否有用仍是未知数。

谷歌大脑科学家Been Kim从可解释性角度补充：结合符号逻辑与深度学习确实有助于增强系统可解释性。但这里存在潜在假设陷阱：我们默认人类理解的符号足以解释复杂AI系统。问题在于，将神经网络行为近似为人类符号时，这种近似是否足够好？如何判断其何时失效？失效后又该如何修复？这些都是关键问题。

Bengio在回应关于归纳偏差的提问时，以人类推理为例说明：人类在高层次推理中会建立概念间的因果关系，形成稀疏的“图”。这种在高维稀疏变量层面的准确预测，与像素级操作截然不同。此外，人类擅长动态重组与复用概念。如何将这种关于因果关系、稀疏性与动态重组的归纳偏差设计到神经网络中，是将AI推向更高层次理解的关键。强化学习与意图、干预等概念的结合也为此提供思路。理解人类推理的成功与失败模式，甚至从生物学汲取灵感，都可能帮助为神经网络注入更强推理能力。

3 开放科学：ICLR的同行评审革命

作为机器学习顶级会议，ICLR开创的开放同行评审模式备受关注。当被问及此模式对AI研究的影响时，两位创始主席Yann LeCun和Yoshua Bengio分享了背后的思考。

LeCun回忆，2010年代初期，计算机科学会议评审存在一定随机性，这并非审稿人过错，而是领域快速发展与审稿人经验有限的必然结果。评审常倾向于寻找缺陷而非优点，导致大量论文被拒。他与Bengio认为，预印本平台的兴起打破了论文与出版机构的垄断关系。理论上，任何评审机构都可评审任何论文，作者也可自由选择评审方，形成开放的“评审市场”。评审机构的信誉将取决于其评审的准确性与预见性。

基于此理念，他们于2013年将运行十年的研讨会升级为ICLR会议，并与OpenReview平台合作，尝试实施开放评审系统。核心在于“开放”：论文公开，评审意见也公开。这不是双盲评审，而是单盲（官方审稿人匿名），但任何人都可实名对论文发表评论。社会心理学家调研显示，与传统模式相比，研究者更偏爱此开放模式。

当然，理想与现实总有差距。LeCun坦言，随着会议组织工作移交至志愿程序委员会，评审过程又逐渐向传统模式靠拢，尽管OpenReview的开放形式得以保留。但开放评审理念已产生深远影响，NeurIPS、ICML等顶级会议也相继采用类似模式。LeCun视此为积极进步。此外，他与Bengio倡导的“早发表，多发表”快速分享文化，也深刻影响了整个AI社区，使纠错与迭代更高效。

Bengio补充了更早背景：机器学习社区在开放科学方面一直是积极推动者。早在1999年左右，因与《机器学习期刊》在开放获取上未达成一致，他们参与创办了完全由社区管理的非营利旗舰期刊JMLR。他鼓励有理想的年轻研究者，除专注自身研究，也可积极参与甚至发起组织工作。正如发起“Climate Change AI”小组的年轻人那样，通过组织研讨会或创办新会议，将精力投入推动社区价值观与解决重大社会问题的事业中。这需付出巨大努力，并团结志同道合者。LeCun则用数据证明开放模式的成功：谷歌学术显示，自2013年以来，ICLR影响力在所有出版机构中高居第七，甚至超过《美国国家科学院院刊》（PNAS），这很大程度上归功于其完全开放的评审过程。

4 绿色AI：大模型能耗与可持续发展

随着模型规模指数增长，其巨大能耗与碳足迹引发广泛担忧。面对“模型是否会无节制变大并加剧气候危机”的尖锐提问，学者们从不同角度给出分析。

Sanjeev Arora指出，问题可拆解为训练和部署两个层面。部署阶段可通过模型压缩、蒸馏等技术使模型更紧凑高效。但训练阶段，追求更大模型的研究趋势确实存在。

Yann LeCun提供了更细致分类与稍感安慰的数据：能耗主要来自研究训练、生产训练和部署三块，其中部署阶段能耗是绝对大头。根据谷歌内部论文预测，AI服务能耗在谷歌总能耗中占比约15%-20%，且此比例不会无限制快速增长。原因在于经济规律——能源成本是大公司的重大支出，这本身构成强大节能动力。

Been Kim提到“蒸馏”和“稀疏网络”两个关键技术方向，它们能使复杂网络更小、更易理解。她特别指出，在像谷歌这样的公司内部，简化模型对实际部署和维护至关重要，因为过于复杂的模型难以维护和理解，因此工程师团队有持续动力优化能效。

那么，如何确保AI技术优先用于应对气候危机？哲学家Shannon Vallor提出了根本性的价值排序问题：在AI资源有限的情况下，应优先将其应用于哪些问题？气候危机紧迫性日益加剧，我们必须确保对AI应用的投资激励，与应对气候危机的实际需求相匹配。

LeCun分享了一个具体案例：他曾在谷歌参与开放协作项目，旨在利用AI寻找高效电解水制氢方法。若能大规模、经济地储存可再生能源（例如用太阳能板产生氢气），我们就有望摆脱对化石燃料的依赖。他认为AI在材料科学和化学领域应用前景广阔。

Yoshua Bengio的回应更具政策高度。他承认现有措施远远不够，并明确指出，解决气候这类全球性挑战，不能依赖个人或个别公司，必须由政府层面推出强有力的政策。我们需要鼓励各国政府在全球层面采取最理想的协调行动。类似问题也出现在传染病、医疗等领域，都需要系统性的顶层设计。