强化学习引导生成模型发现新型晶体结构

晶体材料的探索与发现，本质上是一场在浩瀚组合设计空间中寻找“宝藏”的科研竞赛。这一空间的复杂性源自元素组成、化学计量配比、晶格参数、原子坐标、空间群以及局部配位环境等多个维度，其广阔程度远超传统实验试错与高通量计算所能系统覆盖的范畴。近年来，生成式人工智能虽已具备采样出化学上看似合理的晶体组成与结构的能力，却始终面临一个核心矛盾：传统生成模型以似然最大化为训练目标，天生倾向于复现训练数据中的统计规律，导致更容易生成与已知材料高度相似的结构，而非主动探索那些稀疏、新颖、但可能蕴含真正科学价值的未知材料区域。

为突破这一瓶颈，研究人员提出了 Chemeleon2——一个通过强化学习引导潜在去噪扩散模型，以发现多样化且新颖晶体化合物的全新框架。简而言之，该方法将组相对策略优化与可验证的多目标奖励机制相结合，在生成过程中同步平衡创造性、热力学稳定性与多样性。除了实现从头晶体生成外，研究团队还展示了面向目标带隙的性质引导型逆向设计。实验结果表明，强化学习能显著提升模型生成亚稳、唯一且新颖晶体的能力，并在性质优化过程中保持化学有效性，为可调控的 AI 驱动材料逆向设计提供了一个模块化的基础平台。

为何这项突破如此关键？晶体材料始终是技术革新的长期驱动力，从半导体器件、电池储能材料到能源与环境催化领域，几乎每一项关键技术的跨越都离不开新型晶体的发现。然而，晶体材料的组合复杂性源于多个相互交织的维度：元素种类、化学计量关系、晶格参数、原子坐标、空间群、局部配位环境……尽管传统实验手段与高通量计算一直在推动材料发现的进程，但面对如此庞大的设计空间，依然显得力不从心、效率有限。

生成式人工智能为材料发现开辟了新的可能。变分自编码器、生成对抗网络、自回归模型、扩散模型以及 Flow Matching 等方法，如今已能够生成结构上看似合理的无机晶体构型。但问题在于，这些模型通常通过拟合已有材料数据库的分布来生成样本，天然会偏向于那些“看起来像训练集”的结构。而对于真正有价值的材料发现而言，候选物恰恰位于数据库中稀疏、罕见甚至未被充分探索的区域。这就构成了一种根本性的错位：模型学习的是高概率的数据分布，而研究人员追寻的却是低概率但可能稳定、可合成、具备独特功能的未知新材料区域。

强化学习为化解这一错位提供了新思路。与传统的似然训练不同，强化学习可以直接优化明确设定的奖励目标——例如新颖性、稳定性、多样性或特定的目标性质。因此，Chemeleon2 的核心策略，就是通过强化学习对潜在扩散模型进行后训练，引导模型从“复现已知材料分布”转向“根据科学目标主动探索材料空间”，从而实现更具智能的生成行为。

方法

Chemeleon2 采用潜在去噪扩散模型作为策略网络。晶体结构通常由原子类型、原子坐标和晶格矩阵共同表征，其中既包含离散变量也包含连续变量。如果在真实的原子坐标空间中直接应用强化学习，策略概率的计算将极为复杂，采样成本也居高不下。为降低优化难度，研究团队首先利用变分自编码器将晶体结构压缩为连续的潜在表示，再在此潜在空间中进行扩散生成。这样一来，复杂的晶体表示便被转化为更适合策略梯度优化的连续动作空间，大幅提升了训练效率。

强化学习阶段采用组相对策略优化。模型在同一输入条件下生成多组候选晶体，并根据每组候选的奖励得分进行组内归一化，从而有效降低梯度估计的方差、提升训练稳定性。奖励函数由多个子项构成：创造性奖励鼓励生成唯一且与参考数据库差异显著的结构；稳定性奖励基于能量凸包上方能量，偏好热力学可行或亚稳态的晶体；多样性奖励防止模型坍缩到少数局部模式，推动其覆盖更广泛的组成与结构空间。针对性质引导设计任务，研究人员还引入了目标性质奖励，例如引导模型生成带隙接近 3 eV 的功能晶体。

图1｜强化学习引导晶体材料探索框架示意图。

结果

强化学习框架用于材料空间探索

首先来看该框架如何重塑晶体生成的路径。常规生成模型主要沿着训练数据分布进行采样，因此更容易生成已知材料附近的结构。Chemeleon2 则将生成过程嵌入一个强化学习循环中：扩散模型作为智能体负责生成晶体，奖励函数作为环境评估其新颖性、稳定性和多样性，模型根据反馈信号持续更新生成策略。通过这一机制，采样过程从似然驱动转向奖励驱动，模型逐渐学会探索训练数据中密度较低、但更具发现价值的区域。

在奖励设计层面，创造性奖励采用连续结构距离指标，避免了简单二元判断带来的优化不稳定；稳定性奖励借助机器学习力场快速估算凸包上方能量，替代了成本高昂的第一性原理计算；多样性奖励则确保生成结构既不重复，也不偏离合理的材料流形。图1清晰展示了这种奖励引导如何将生成结构推向欠采样区域，同时维持化学与物理上的合理性。

策略优化算法

研究团队比较了组相对策略优化与普通 REINFORCE 算法的表现。结果显示，组相对策略优化通过在相同条件下对比多组候选结构，显著降低了优势估计的波动性，使强化学习训练过程更加平稳。图2中的训练曲线清晰表明，GRPO 的奖励提升更为平滑，梯度方差也更低。

消融实验进一步揭示，多样性奖励不可或缺。移除多样性奖励后，模型极易出现模式坍缩——反复生成少数相似结构，仅通过微小的几何扰动来获取奖励。这说明在材料生成任务中，单纯奖励稳定性和新颖性并不足够，还必须显式地鼓励组成与结构层面的广泛覆盖。

图2｜策略优化算法对比示意图。

从头晶体生成基准测试

研究团队在 Alex-MP-20 数据集上评估了多种生成模型。每个模型生成 10,000 个晶体，直接对未经过几何优化的结构进行评估。核心指标为 mSUN，即亚稳、唯一且新颖结构的占比。未经强化学习的 Chemeleon2，mSUN 仅为 15.9%。原因在于，虽然潜在扩散模型采样效率高，但压缩后的潜在空间会削弱对稀有结构和极端构型的表达能力，也可能在解码时产生局部的几何失真。

经过强化学习后，Chemeleon2 的 mSUN 从 15.9% 大幅攀升至 61.3%，提升了 45.4 个百分点，相对增长幅度达到 285.5%。具体分解来看，新颖性从 62.3% 提升至 97.5%，亚稳比例从 51.2% 提升至 72.1%。唯一性从 99.4% 降至 88.7%，提示仍存在轻微的模式坍缩倾向，但整体而言，强化学习显著增强了模型发现有效新晶体的能力。在较小的 MP-20 数据集上也观察到了类似的趋势，说明该方法并非仅对单一数据集有效，具有良好的泛化能力。

图3｜不同生成模型在从头晶体生成任务中的性能比较。

新颖性—稳定性困境

材料生成领域存在一个经典矛盾——新颖性与稳定性之间的权衡困境。越接近已知材料的化学空间，结构越可能稳定；越远离已知材料，结构越新颖，但同时也越可能热力学不可行。传统生成模型受训练分布的限制，往往难以同时兼顾新颖性与稳定性的提升。

研究团队利用新颖性-稳定性二维图展示了不同模型的表现。强化学习后的 Chemeleon2 明显拓展了帕累托前沿，表明它并非简单牺牲稳定性来换取新颖性，而是在两者之间找到了更优的平衡点。t-SNE 结构嵌入分析显示，未经强化学习的模型虽然覆盖范围较广，但有效候选结构稀疏；而强化学习模型则形成了富含 mSUN 结构的局部簇，说明奖励函数引导模型集中探索了更具价值的区域。

代表性结构分析进一步揭示，模型会先识别热力学较为有利的结构原型，再通过多元素、多阴离子替换来引入组成复杂性。这种策略帮助模型在稳定的结构骨架之上有效增加了化学新颖性。

图4｜生成模型中的新颖性—稳定性权衡分析。

强化学习改变组成空间探索

研究团队进一步分析了强化学习前后生成晶体的元素组成变化。结果相当引人注目：强化学习显著改变了模型的搜索偏好。基线 Chemeleon2 更倾向于生成含氧、硫族元素和卤素的化合物，而强化学习后，过渡金属的比例从 26.2% 增加到 35.6%，非金属比例从 27.2% 降至 16.6%。与此同时，模型对 Br、I、Se 等更具可极化性的元素探索明显增加，元素分布变得更加广泛多样。

这种变化与奖励设计的内在逻辑高度吻合。稳定性奖励偏好具有多氧化态和可调配位环境的过渡金属，创造性和多样性奖励则推动模型探索更多的阳离子组合以及欠表示的元素组合。研究团队还发现，强化学习模型生成了较多的三元和四元化合物，其中四元体系占比最高，而且相当一部分具有较低的凸包上方能量，暗示这些复杂组成中可能存在可合成的候选材料。

当然，研究团队也指出，当前模型生成的是有序周期晶体，尚不能很好地区分有序化合物、无序固溶体以及位点占据无序。例如，某些多金属体系可能更适合被解释为固溶体，而非确定的有序化合物。

图5｜强化学习驱动的组成空间探索统计结果。

性质引导生成

除了从头生成任务，研究团队还测试了性质引导的逆向设计，以目标带隙 3 eV 作为示例。这一目标在数据分布中属于较难实现的外推目标。他们比较了普通 CFG、LoRA CFG 以及强化学习三种条件生成方式的表现。

结果非常直观：CFG 生成的带隙分布较宽，难以集中到目标值附近，并且会严重破坏 mSUN 指标，使有效结构比例接近零。LoRA CFG 仅带来轻微改善。相比之下，经过强化学习优化的 Chemeleon2 生成结构的 DFT 计算带隙明显集中在 3 eV 附近，同时保持了 45.3% 的 mSUN 值。在 512 个初始样本中，有 82 个结构既满足 mSUN 条件，又具有 2.7–3.3 eV 的目标带隙范围。

进一步经过 DFT 几何弛豫后，强化学习模型仍保持较强的静态带隙与弛豫后带隙相关性，说明模型生成的结构已经接近平衡构型。弛豫后，mSUN 和亚稳比例还进一步提升。这表明强化学习不仅能够有效地引导目标性质，还能够在性质优化过程中维持化学有效性与热力学可行性。

图6｜强化学习用于性质引导晶体生成的结果。

讨论

这项研究清晰地揭示了强化学习在生成式材料发现中的关键价值。传统生成模型主要致力于拟合训练数据分布，因此很容易受到“像已知材料”这一目标的限制。Chemeleon2 则通过明确的奖励函数设计，将生成模型转变为一个主动探索的智能工具，使其能够在新颖性、稳定性和多样性之间取得更加优越的平衡。

该框架的核心优势在于其模块化设计理念。奖励项可以根据不同的科学目标灵活替换或调整，因此不仅适用于从头发现新晶体，也适用于带隙等功能性质导向的逆向设计任务。与启发式的条件控制方法相比，强化学习提供了一条更加直接的目标优化路径，尤其适合那些需要同时满足多种约束的复杂材料发现场景。

当然，当前方法仍存在一些局限性。首先，真正的结构新颖性仍然难以精确定义，特别是对于低对称结构、轻微晶格畸变以及复杂局部配位环境而言。其次，模型目前主要生成有序周期结构，尚无法很好地处理真实材料中普遍存在的固溶体、位点无序、缺陷以及非化学计量组成。第三，高阶多元素体系的稳定性可能由于参考相图稀疏而被高估，因此仍需要更严格的第一性原理验证和实验筛选。未来，如果能加入更可靠的合成可行性奖励、无序结构建模能力以及更精细的结构新颖性指标，这一框架有望成为 AI 驱动材料发现领域的通用策略。

总体而言，Chemeleon2 证明了强化学习能够将晶体生成模型从被动的训练集模仿者，转变为主动探索未知材料空间的开拓者。这为发现多样化、新颖且热力学可行的功能晶体，提供了一条全新的方法论路径。

参考资料

Park, H., Walsh, A. Guiding generative models to uncover diverse and novel crystals via reinforcement learning. Nat Mach Intell (2026). https://doi.org/10.1038/s42256-026-01262-4