波兰科学家揭示人工智能推理过程的内部机制

近期，一项由波兰国家研究院（NASK）联合华沙理工大学、雅盖隆大学及格但斯克理工大学共同完成的研究，在AI安全领域引发了广泛关注。该研究论文于2026年5月18日发布于arXiv预印本平台，编号arXiv:2605.18549v1。

研究直指当前大语言模型应用中的一个核心痛点：当模型煞有介事地展示其“思维链”推理过程时，这段文字是否真实反映了其内部的决策逻辑？

这好比一位员工提交了逻辑严谨的工作报告，但实际执行却屡屡偏离安全规范。在AI领域，这种“说一套，做一套”的现象被专业地称为“思维链不忠实”。

问题的普遍性如何？研究团队测试了四个主流推理模型，发现大约5%到10%的情况下，AI展示的推理文字与其最终输出存在自相矛盾。有时推理看似无害，最终却生成有害内容；有时推理看似走向危险边缘，最终答案却安全合规。

5%-10%的比例看似不高，但置于实际应用场景则隐患巨大。这意味着每处理一千次对话，就可能存在五十到一百次“言行不一”的风险。若此类模型部署于客服、内容审核或医疗咨询等关键场景，其潜在危害不容小觑。

面对这一困局，波兰研究团队提出了范式转变：不应仅依赖AI的“表面说辞”，而应深入探查其“内心”的真实活动。他们开发了一套名为“探针轨迹”的监控框架，能够像记录心电图一样，持续追踪AI生成每个词语时内部的“神经激活”状态，从而预测其最终行为。实验表明，该方法在某些任务上的预测准确率（AUROC）高达95%，远超仅分析输出文本的传统方案。

一、AI的“表面文章”与“内心世界”

理解这项研究，需先明晰现代推理型AI的工作机制。

以DeepSeek-R1、Qwen3等先进模型为例，它们在给出最终答案前，通常会生成一段详细的推理文字，类似于解题草稿。这段“思维链”的设计初衷良好，旨在让人类理解其思考路径并提前识别风险。

然而，问题核心在于：这段推理文字仅是AI“呈现给用户看”的，未必等同于其真实的内部计算过程。如同学生可能写出一份完美的解题步骤，但其脑中实际运用的可能是另一套方法。

AI真正的“思考”，发生于模型深处的神经网络中，由数百亿个被称为“隐藏状态”或“激活值”的高维数字向量所驱动。这些内部状态从不直接显现于文本，却是决定AI最终行为的“幕后操盘手”。

近年来兴起的表征工程与机械可解释性研究，正致力于解读这些内部状态。来自华盛顿大学、Anthropic、DeepMind等机构的研究已证实，通过分析内部激活，可有效检测AI的有害意图、欺骗行为乃至数学错误。

波兰团队的创新在于，他们不满足于对内部状态进行“静态快照”，而是旨在为AI的整个思考过程“录制动态心电图”，追踪其内心状态的完整演变轨迹。这正是“探针轨迹”概念的核心价值。

二、如何给AI做“内心检测”——探针架构详解

所谓“探针”，在AI研究中指一种轻量级分类器，可附着于模型的特定内部层，用于检测特定概念（如“有害意图”）的存在。

可将AI模型想象为一栋多层建筑，每层都有海量“神经元”处理信息。探针如同安装在某一层走廊的微型传感器，专门感知特定信号的强度。

研究团队设计的探针采用三层神经网络结构，其功能是将AI内部高维、抽象的数字流，转化为一个简单的概率值，例如：当前对话产生有害输出的可能性有多大？

更巧妙的设计在于，他们并未仅在一层部署传感器，而是在多个关键层同时部署。随后，通过一个名为“多实例学习元探针”的机制，汇总所有层的信号形成综合判断。这好比经验丰富的医生综合多项检查指标进行诊断，其可靠性远超依赖单一指标。

在训练该系统时，团队测试了三种数据准备策略。结果发现，成本最低的方法（使用预设模板结合现有安全数据集）与成本最高的方法（让模型实际运行并标注其真实输出）效果近乎相当。例如在Qwen3-14B模型上，低成本方法的AUROC达到95.91%，仅略低于高成本方法的97.14%。这一发现极具实用价值，意味着未来研究者无需耗费巨量算力收集真实推理数据，利用现有数据集即可高效训练可靠的检测探针。

三、最关键的发现：如何正确地“做心电图”

该系统中最反直觉且关键的一项发现，关乎如何汇总探针在一段时间内的读数。

在AI研究中，“池化”是一种将序列信息压缩为代表值的常见操作。最直观的方法是“平均池化”——计算所有时刻探针值的平均数。另一种是“最后一个词池化”——仅关注推理结束时的值。

然而研究发现，这两种方法在此任务上几乎完全失效，预测准确率跌至接近随机猜测的水平。这如同医生仅观察心电图图形的平均高度或最后一秒信号，无法做出有效诊断。

真正有效的方法是“最大池化”：在整个推理序列中，仅保留每个维度上出现过的最大值。换言之，只要在思考过程中的任一短暂瞬间，探针检测到强烈的有害信号，该峰值就会被永久记录，不会被后续大量“平静”时刻所稀释。

为何最大池化如此有效？研究团队给出了一个形象的比喻：它如同一个“包络检波器”。AI在构思有害内容时，有害信号可能仅在提及少数关键词的瞬间强烈闪现。若使用平均池化，这些关键峰值会被海量中性词信号淹没。而最大池化则能牢牢捕捉这些稍纵即逝却至关重要的“罪证”。

这一发现在所有测试的模型和数据集上均得到一致验证。

四、动态轨迹：比一张快照多了什么

基于最大池化，研究团队将“全局最大池化”升级为“累积最大池化”。这意味着每生成一个新词，系统便输出一个“截至当前时刻检测到的最强信号值”，从而形成一条随时间变化的曲线——即“探针轨迹”。

做一个类比：静态探针如同在路口安装摄像头，每次仅拍摄单张照片判断是否违章；而探针轨迹则是连续不间断的录像，可清晰呈现车辆如何逐渐加速、最终闯红灯的完整过程。后者提供的信息量远超前者。

由于采用累积最大池化，这条轨迹曲线具备一个天然特性：它只会持平或上升，绝不会下降。这如同一个人的“历史最高分”记录，一旦刷新，新纪录将一直保持。这种单调递增的特性使曲线非常稳定，不易受局部噪声干扰，便于后续分析。

相比之下，若使用平均池化生成轨迹，曲线会随每个新词剧烈上下抖动，充满噪声，如同一份心律严重不齐的心电图，难以解读。

论文中的轨迹图直观显示：当AI最终将生成有害输出时，即便其推理文字看起来安全无害，其内部轨迹往往会在某个时间点出现明显的向上跳跃并维持高位——这是一个清晰的预警信号。而当AI最终将给出安全答案时，轨迹通常在从处理用户问题过渡到开始推理时，便呈现明显的下降趋势，表明其内部状态正在“平静”下来。

更重要的是，在那些“思维链不忠实”的案例中——即推理文字安全但实际输出有害——轨迹依然能够捕捉到微弱或延迟出现的有害信号。这正是探针轨迹相比纯文本分析的最大优势：它试图窥探的是意图，而非言辞。

五、从轨迹曲线中提取“语言”——信号特征工程

获得探针轨迹曲线后，接下来的挑战是如何从中提炼可用于预测的信息特征。研究团队借鉴信号处理领域的成熟技术，设计了六大类、数十个特征指标来描述曲线的形态与动态。

1. 全局统计特征：最基础的描述，如平均信号强度、最高峰值、整体波动性、趋势斜率等。
2. 形状与趋势动态：捕捉曲线形状，例如通过拟合判断曲线是加速上升还是减速平稳，以及计算“最大回撤”（从峰值下跌的幅度）等。
3. 时间分段：将推理过程按时间三等分，分别计算早期、中期、晚期的平均强度及阶段间变化量，基于推理不同阶段可能具有不同特征的假设。
4. 边界瞬态与波动性：专门分析从处理问题过渡到开始推理这一关键节点的行为。这个瞬间往往信息量极大，最能暴露真实意图。
5. 信号处理与持续意图：使用更专业的信号处理技术，如检测峰值数量、信号维持在阈值以上的持续时间、曲线穿越均值的频率等。
6. 时间与关系地标：包括峰值出现的位置、推理阶段与问题阶段的信号强度对比等相对位置特征。

提取出这六类特征后，团队使用随机森林算法训练最终分类器，将这些特征映射到“有害/安全”或“正确/错误”的预测上。

六、实验结果：安全检测和数学推理两个战场

团队在两个截然不同的任务上验证了系统有效性：有害内容检测和数学推理正确性判断。测试模型包括Llama-8B-R1-Distill以及Qwen3系列的4B、8B和14B模型。

在安全检测方面，静态的最大池化探针在同分布测试集上达到了91%到97%的AUROC，显著优于仅分析推理文字的方法。加入轨迹特征后，性能进一步提升，尤其在跨域测试集上，轨迹特征保持了更强的分辨能力。

团队还专门统计了对“不忠实思维链”案例的检测率。结果显示，基于轨迹特征的分类器在检测“文字安全但输出有害”的案例上，明显优于静态探针。在跨域场景下，静态探针几乎失效，而轨迹分类器依然有效。

在数学推理方面，任务难度更大。静态探针的准确率远低于安全检测。然而，轨迹特征带来的提升反而更显著，在GSM8K数据集上，对于Qwen3模型，AUROC提升了多达17个百分点。分析认为，这是因为GSM8K题目涉及多步算术，模型推理过程中的“纠结”更漫长、变化更丰富，为轨迹分析留下了更多信息痕迹。

七、SHAP值分析：安全与数学各有其“脉象”

通过SHAP值分析哪些特征最重要，研究得出了一个有趣的结论：对于有害性检测和数学错误检测，最重要的前十项特征完全没有重叠。

有害性检测，关键看“终态”：轨迹最终的值、最终值与最大值的比率、最后三分之一的平均值等。简言之，安全检测最关心的是：这条曲线最终停在哪里？如果推理结束内心仍“躁动不安”，输出很可能有问题。

数学错误检测，关键看“动态”：曲线上下震荡的频率、速度变化的剧烈程度、整体斜率等。简言之，数学错误检测最关心的是：这条曲线有多“颠簸”？如果AI做数学题时内心状态持续剧烈振荡，说明其逻辑不自洽，很可能出错。

这一发现为理解两类任务提供了线索：有害性更像一种“持续的内在倾向”，而数学错误则表现为“推理过程中的混乱”。

八、消融实验：需要多少推理过程才够用？

另一个重要实验是：仅观察推理过程的前X%，预测准确率会如何变化？

结果再次凸显了两类任务的差异：

• 数学错误预测：仅观察前5%的推理内容（约几十个词），准确率就基本达到峰值。这意味着，AI在解题之初，其内部状态就已经“预感”到自己会出错。
• 有害性检测：准确率随着观察内容的增加而持续缓慢上升，说明有害意图的信号是逐渐累积的，需要更长的上下文才能可靠判断。

这对实际应用具有指导意义：实时安全监控可能需要等待推理基本完成；而早期预警则可以在获得少量内容后就启动，尽管可靠性会有所折扣。

九、对比1D CNN：为什么手工设计的特征胜过深度学习？

团队还尝试了使用1D卷积神经网络自动从轨迹曲线中学习特征，并与手工设计的特征进行对比。结果，手工特征在多数情况下胜出。

这似乎有悖常理——深度学习不是更擅长自动发现特征吗？一个合理的推测是：在数据量有限的研究场景下，融合了领域知识（如信号处理）的手工特征，比需要大量数据训练的通用神经网络更具优势。这体现了专业先验知识在小数据问题上的价值。

结语

归根结底，这项研究揭示了AI“表象”与“本质”的差异。AI输出的文字，如同经过修饰的言辞，可能与真实意图相去甚远。但其神经网络的激活模式——那些原本被视为“黑箱”的数字洪流——却在动态变化中，编码了大量关于未来行为的关键信息。

通过将这些数字流转化为曲线，并从中提取反映终态、动态和边界行为的特征，研究者找到了一条比分析表面文字更可靠、跨域适应性更强的AI行为预测路径。

当然，这项研究也存在局限。所有测试模型参数均在140亿以内，对更大规模模型的效果有待验证。研究也只涵盖了有害性和数学正确性两种行为，能否推广到欺骗、谄媚、幻觉等其他问题，仍需探索。此外，研究团队也坦诚指出了潜在风险：一旦这些检测特征被公开，理论上可能被用来训练模型刻意掩盖内部状态，从而规避检测。他们相信防御的价值大于滥用风险，但这无疑是一个需要持续警惕的议题。

对于行业而言，这项研究指明了一个新的方向：未来的AI安全系统，或许可以不再完全依赖分析输出文字，而是转向监控模型内部的“神经脉象”。即使AI学会了用安全的推理文字作伪装，其内心的“心电图”依然难以完全造假。这为构建更可靠、更前置的AI安全防线，提供了新的可能性。

Q&A

Q1：探针轨迹和直接分析AI生成的推理文字有什么本质区别？

A： 本质区别在于信息源不同。推理文字是AI“表达出来”的，可能经过修饰或与真实计算脱节。而探针轨迹直接读取AI神经网络内部的激活状态，这些原始数字不经过任何表达环节，更难被有意操控。研究证实，在5%-10%的案例中，AI的推理文字与最终输出矛盾，而此时内部轨迹往往仍能揭示其真实意图。

Q2：最大池化为什么比平均池化效果好这么多？

A： 关键在于信号的特异性。有害意图的信号可能只在提及少数关键词的瞬间强烈爆发，大部分时间处于低激活状态。平均池化会将这些短暂但关键的峰值信号，稀释在大量中性信号中，导致检测失灵。最大池化则像一台“最高温度记录仪”，一旦捕捉到峰值就会牢牢锁定，确保关键信号不被淹没。

Q3：探针轨迹方法可以实际部署在AI产品上用于安全监控吗？

A： 从原理上可行，但目前研究主要验证了其诊断能力。实际部署面临工程挑战：首先需要能访问模型的内部层（对闭源模型是障碍）；其次需建立成熟的训练与校准流程。研究也表明，该方法对小数据训练友好，但实际应用仍需独立的训练数据，不能直接套用实验室的交叉验证结果。