多模态预训练分子表示在药物发现中的应用研究

一、背景：药物发现为何亟需AI技术？

新药研发堪称人类科技史上最烧钱、耗时最长且风险最高的工程之一。一组关键数据足以说明问题：一款新药的平均研发成本高达26亿美元，周期长达10至15年，而成功率却低得惊人。在初始筛选的5000到10000个化合物中，最终能够顺利通过临床试验并获批上市的，往往仅有一个。更令人担忧的是，每十亿美元投入所能催生的新药数量，每九年便会缩减一半——学术界将此现象称为“逆摩尔定律”。

面对这一困境，基于深度学习的计算方法为药物研发开辟了新路径。AlphaFold的成功已充分证明，AI在蛋白质结构预测领域具备革命性的潜力。然而，挑战随之而来：深度学习模型的性能高度依赖于大规模标注数据，而在真实的药物发现场景中，带有标注的分子数据极为稀缺——这已成为制约深度学习在该领域大规模应用的最主要瓶颈。

自监督预训练技术的兴起，为破解这一难题带来了曙光：通过在海量未标注数据上自动构造监督信号，让模型自主学习分子结构背后的潜在规律，从而大幅降低对少量标注数据的依赖。本篇综述正是在此背景下，系统梳理了当前最前沿的多模态预训练分子表示学习研究的进展。

---

二、什么是多模态预训练模型？

2.1 核心框架

多模态预训练模型由以下四个核心要素构成：

要素	内容
多模态分子数据	1D 序列、2D 图、3D 几何结构、分子描述符、交互网络、文本描述
神经网络编码器	DNN、CNN、RNN、Transformer、GNN 及其变体与融合体
自监督预训练任务	对比学习、匹配预测、掩码预测、自回归预测
训练策略	联合训练、无监督表示学习、预训练-微调两阶段训练

其核心思路清晰明确：让神经网络通过自动生成的伪标签，从多模态的未标注数据中学习到一个统一的分子表示，随后再将其迁移至下游的药物发现任务中。

2.2 与单模态预训练的本质区别

单模态预训练只专注于学习单一表示形式，例如仅处理SMILES序列。而多模态预训练的核心优势体现在以下三个方面：

互补性：不同模态各自捕捉分子不同层次的特征，融合后信息更加完整。
一致性：同一分子在不同模态中应具备语义一致性，通过跨模态对齐训练，有助于模型学到更鲁棒的表示。
泛化性：多模态联合训练能够有效提升模型在少样本下游任务中的泛化能力。

---

三、多模态分子数据：分子的六种“语言”

以苯甲酸为例，一个分子可以从以下六个维度进行编码：

3.1 一维序列

最常见的分子序列表示是SMILES，例如苯甲酸可表示为 C1=CC=C(C=C1)C(=O)O。其优势在于存储紧凑、便于直接与文本模型对接；劣势是无法显式编码原子间的空间关系。此外，SELFIES作为一种更鲁棒的分子字符串表示，在生成任务中表现更为出色。

3.2 二维分子图

将原子视为节点、化学键视为边，即可构建出分子图。2D图能够显式捕捉原子间的连接拓扑结构，是图神经网络的标准化输入格式。与1D序列相比，2D图保留了更丰富的结构语义信息。

3.3 三维几何结构

在2D图的基础上，进一步引入原子的三维空间坐标，以描述分子的真实立体构型。对于药物-靶点结合预测而言，3D结构至关重要——分子的构象直接决定了其能否与受体结合，这即是所谓的“锁钥原理”。

3.4 分子描述符与指纹

分子描述符是反映分子物理化学性质的结构化数值向量，而分子指纹则是基于子结构特征的二值化向量。这两者非常适合作为深度神经网络的直接输入，且计算效率较高。

3.5 分子交互网络

以生物实体为节点、已知的相互作用关系为边，构建起一个异质网络。与其他模态相比，交互网络能够编码“多药-多靶-多疾病”的系统生物学知识，在多组学融合和药物重定向任务中尤其具有价值。

3.6 分子文本描述

使用自然语言描述分子的名称、化学式、结构特征、生物活性及功能。文本描述是最直观、最容易让非化学背景读者理解的模态，也是大语言模型与药物发现领域对接的核心桥梁。不过，不同来源的数据对同一分子的描述风格各异，标准化不足是目前面临的一个挑战。

---

四、神经网络框架：为不同模态选择合适编码器

4.1 五类经典网络框架对比

网络类型	适用模态	核心模块	主要优势	主要局限
DNN	结构化向量（描述符/指纹）	全连接层 + 非线性激活	架构简单，计算高效	忽略元素间依赖关系
CNN	网格数据（分子图像）、1D 序列	卷积 + 池化操作	捕捉局部特征，参数共享	难以处理全局依赖
RNN	时序序列（SMILES、文本）	GRU/LSTM 循环单元	捕捉序列时序依赖	长序列梯度消失/爆炸问题
Transformer	长序列数据	多头自注意力 + 位置编码	捕捉长程全局依赖	计算复杂度随序列长度平方增长
GNN	图结构数据（2D/3D 分子图、交互网络）	谱图卷积 / 消息传递机制	捕捉图拓扑结构	深层 GNN 存在过度平滑问题

4.2 Transformer 的核心架构及其在药物发现中的扩展

Transformer 采用编码器-解码器框架：

编码器：由多个相同模块堆叠而成，每个模块包含多头自注意力层和前馈网络层，并辅以残差连接和层归一化。多头注意力机制的核心作用是学习序列中不同位置之间的长程依赖关系。
解码器：在编码器基础上增加一个掩码注意力层，确保当前位置只能依赖左侧已知信息，主要用于自回归生成任务。

在药物发现中，Transformer的两个变体尤其值得关注：

Vision Transformer：将分子结构图像切分成 patch 序列后输入 Transformer，代表性工作有 ISMol，它将 2D 分子图像化后送入 ViT 进行性质预测。
图 Transformer：为 Transformer 引入中心性编码、空间编码和边特征编码，使其能处理图结构数据，在分子属性预测上表现出色，代表工作包括 MAT、Transformer-M、MOLEBLEND、Interformer 等。

4.3 趋势：Transformer 与 GNN 的融合

文章明确指出，当前最主流的编码器设计模式是同时使用 Transformer 处理 1D SMILES 序列，以及使用 GNN 处理 2D/3D 分子图。两者结合，覆盖了分子从序列到拓扑结构的不同尺度特征。这种“序列 + 图”的双塔编码架构已在大量工作中得到验证，成为多模态预训练的主流框架。

---

五、多模态自监督预训练任务

5.1 四类任务的系统对比

预训练任务	优化目标	核心优势	主要局限
对比学习	模态对齐	捕捉跨模态一致性；可利用大批量负样本避免模型崩溃	依赖大量负样本；忽略模态细粒度对齐与各模态独特性
匹配预测	一致性分类	捕捉跨模态关联；通过注意力机制建模细粒度交互	依赖负样本质量；正负对识别较简单，限制学习难度
掩码预测	上下文重建	深度理解模态内部精细结构与跨模态细粒度交互	忽略跨模态全局一致性
自回归预测	条件生成	增强模型的生成能力	仅利用单向信息；削弱表示与理解能力；生成任务需求较少

5.2 对比学习与匹配预测的关键差异

两者都以“正样本对”和“负样本对”作为训练信号，但本质上有明显区别：

对比学习：目标是最大化正样本对的表示相似度，最小化负样本对的相似度。其性能与负样本数量高度相关，可通过大批量训练生成充足负样本。
匹配预测：将样本对是否匹配视为一个二分类任务。其性能与负样本质量高度相关，通常在模态特异性编码器后接注意力机制或多层感知机，能更好地建模跨模态的精细交互。

一些工作结合使用两者，取得了更好的效果。

5.3 掩码预测的跨模态扩展

掩码预测最初源于 BERT 在自然语言处理中的应用，其核心思想是遮盖输入的部分信息，然后让模型去恢复。多模态掩码预测将此思想扩展至跨模态场景：将不同模态的输入统一转化为序列，随机遮盖部分 token，让模型利用其他模态的信息来恢复被遮盖的内容。此机制能迫使模型学习模态之间的深层语义对应关系。

5.4 多任务预训练的趋势

不同预训练任务捕捉分子特征的侧重点各异，因此越来越多的研究开始将多个预训练任务的损失函数加权求和，进行联合训练，以期学到更全面、更通用的分子表示。这本质上是一个多任务学习问题，但也带来了超参数复杂度增加、不同任务收敛速度不一致等挑战。

---

六、自监督训练策略

6.1 三类训练策略对比

训练策略	预训练模型的角色	核心优势	主要挑战
联合训练	正则化/辅助项	增强对下游任务的适配性；缓解灾难性遗忘	降低模型通用性和可迁移性
无监督表示学习	特征提取器（冻结）	保证通用性；防止小样本过拟合	无法捕捉下游任务特异性特征
预训练-微调两阶段	编码器参数初始化	兼顾通用性与任务适配性；适用于多种下游任务	全参数微调计算成本高；存在灾难性遗忘和过拟合风险

6.2 参数高效微调技术

随着预训练模型参数量日益庞大，全参数微调的计算成本也随之急剧上升。参数高效微调技术通过仅调整少量参数，即可实现接近全参数微调的效果，主要包括三类方法：

加法式微调：在预训练模型中插入可训练的 Adapter 模块或 Prompt 向量，冻结原始参数。
选择式微调：仅微调预训练模型中的特定层或参数子集。
重参数化微调：通过低秩分解来近似参数更新，显著减少可训练参数量。

目前在药物发现领域，两阶段训练已成为主流范式，而重参数化微调仍处于探索阶段。

6.3 提示学习

为缓解预训练任务与下游任务之间的分布偏移问题，一些工作开始探索基于提示学习的微调策略，通过设计任务特定的提示模板，弥合两个阶段之间的语义鸿沟，代表性工作包括 KANO 和 BioT5。

---

七、药物发现核心任务中的应用进展

7.1 分子生成

任务目标：设计出具备目标性质的候选分子。

方法脉络：

1D 序列生成：将 SMILES 视为化学语言，训练类 GPT 的自回归模型，逐 token 生成分子序列，代表工作有 TamGen、MolGPT。在微调阶段，常结合强化学习优化生成分子的生化性质。
3D 结构生成：将原子的三维坐标视为一种语言表达，与 SMILES 联合构建 GPT 式自回归模型。代表工作有 3DSMILES-GPT；Lingo3DMol 提出了对扰动分子进行 2D + 3D 双表示重建的自回归预训练，在口袋感知的三维分子生成中表现出色。
文本驱动生成：基于 SMILES-文本混合语料，利用掩码 span 恢复预训练 T5 模型，实现从文本描述到分子结构的双向翻译，以及集成多模态对比学习与匹配预测的范式。

7.2 分子性质预测

任务目标：根据分子结构推断其生化活性、物理化学特性等，是药物筛选的核心环节。

主流范式：大多数方法采用双编码器设计——Transformer 处理 SMILES，GNN 处理 2D/3D 分子图——并以跨模态对比学习作为核心预训练任务。代表性工作包括：

graphMVP：基于 2D/3D 图的多视图对比预训练。
3D-Infomax：最大化 2D GNN 与 3D 几何表示的互信息。
MOLEBLEND：多模态预训练融合序列与图结构的模态混合。
KANO：融合知识图谱的分子对比学习与功能提示。

越来越多的工作开始组合使用对比学习、掩码预测和匹配预测，以提升性质预测精度，并探索加入更多模态和领域知识。

7.3 药物-药物相互作用预测

任务目标：识别药物联用时发生不良反应的风险，对临床合理用药具有重要意义。

技术特点：与分子性质预测类似，大多数多模态方法将对比学习作为核心任务，但重点在于对齐分子结构模态与分子交互网络模态。异质图神经网络被广泛用于编码包含药物-靶点-疾病-副作用等多类关系的分子交互网络，代表性工作有 H2D 和 HetDDI。

7.4 药物-靶点相互作用预测

任务目标：判断一个药物分子能否与靶点蛋白结合，同时支持药物重定向。

技术特点：

基于 SMILES 和 2D 分子图，综合运用掩码预测和对比学习训练 Transformer 和图卷积网络。
部分工作从分子图与交互网络出发，通过跨尺度图对比学习预测药物-靶点结合亲和力。
BioT5 将分子 SELFIES、蛋白质序列和通用文本进行包裹序列融合，并采用基于提示的微调策略，缩短预训练与 DTI 预测之间的任务差距。

7.5 分子描述生成

任务目标：给定分子结构，自动生成涵盖分子名称、化学式、结构特征和功能描述的文字说明。

技术特点：分子描述生成被视为分子与语言的双向翻译任务。大量工作参考了 BLIP-2 的 Q-Former 架构：通过可学习的查询向量桥接冻结的分子编码器与大语言模型，使大语言模型能够解读分子结构信息。代表性工作包括 MolCA、3D-MOLM、MolFM 等。

---

八、两大核心趋势

综述作者明确归纳了两条值得关注的上升趋势：

趋势一：Transformer + GNN 跨尺度分子表示学习

动因：1D 序列和 2D/3D 图结构各有信息盲区，融合两者能捕捉更全面的分子特征。
典型架构：SMILES-Transformer + Graph-Transformer/GNN + 跨模态对比学习/匹配预测。
代表工作：graphMVP、3D-Infomax、MOLEBLEND、MolLM、MoleculeSTM 等。

趋势二：分子文本描述成为大语言模型与药物发现的核心桥梁

动因：文本描述是最接近自然语言的分子表达形式，可直接利用大语言模型的理解和推理能力。
实现路径：混合 SMILES 序列与生物医学文本进行预训练 → 引入 Q-Former 架构桥接分子编码器与冻结的大语言模型。
潜力：推动分子生成、性质预测、药物重定向等任务的可解释性与知识迁移能力。

---

九、挑战与未来机遇

9.1 设计统一灵活的多模态框架

当前瓶颈：现有框架大多使用粗粒度的对比学习或匹配预测作为主要对齐手段，难以捕捉模态内部的精细语义结构；同时，实际场景中样本常缺失某些模态，目前缺乏自动处理缺失模态的弹性机制。

潜在路径：可借鉴计算机视觉中的 BEiT-3、VLMO 等统一多模态框架——将不同模态的数据统一编码成序列，送入 Transformer 学习通用表示；再设计条件推断机制处理模态缺失情况。

9.2 区分并利用跨模态一致性与互补性

当前瓶颈：现有多任务预训练框架存在信息冗余问题——共享空间可能混入各模态的独特特征，而模态特异性空间可能丢失共有特征，既增加计算冗余，又降低表示质量。

潜在路径：可借鉴信息论框架，显式地将跨模态共享信息与模态特异信息解耦，建立同时学习一致性与互补性的多任务预训练目标。

9.3 引入更多模态与领域先验知识

新兴数据模态：

分子视频：捕捉分子动力学过程中的时序构象变化，已有基于分子视频的基础模型问世。
单细胞 RNA 测序数据：提供细胞水平的基因表达谱，能助力个性化精准医疗。
细胞图像：高通量显微镜图像编码了药物处理后细胞表型的丰富信息。

可融合的先验知识：

功能团：化学反应活性的核心单元，可作为子图层次的语义先验。
粗粒度模型表示：通过降低分子自由度来加速动力学模拟。
分子基序：频繁出现的子结构模式，携带生物活性相关的语义信息。
合成可及性评分：指导生成模型产生实际可合成的分子。

9.4 与通用基础模型深度融合

当前瓶颈：现有分子预训练模型大多只整合了 1D 特征，未能充分利用通用大语言模型在长文档逻辑推理和跨领域知识整合方面的能力。

潜在路径：

以 Q-Former 或类似的轻量级投影模块作为接口，将分子表示注入冻结的通用大语言模型。
探索分子-文本-图像-音频的跨模态通用基础模型，实现生物医学知识与通用世界知识的双向迁移。
通过 PEFT 技术让通用大语言模型高效适应分子任务，降低计算门槛。

---

十、代表性方法汇总

按任务分类

应用任务	代表性方法	主要特点
分子生成	TamGen, MolGPT, ChatMol, Lingo3DMol, 3DSMILES-GPT	自回归预训练；强化学习微调
分子性质预测	graphMVP, 3D-Infomax, MOLEBLEND, KANO, MolLM, MoleculeSTM	对比学习为主；2D/3D 多模态融合
DDI 预测	MRCGNN, H2D, HetDDI, CSCo-DTA	图对比学习；异质图神经网络
DTI 预测	DrugLAMP, BioT5, MoMu	掩码/对比学习；提示学习微调
分子描述生成	MolT5, MolCA, GIT-Mol, MolFM, 3D-MOLM, UniMoT	Q-Former 架构；文本-分子双向翻译

按预训练任务分类

预训练任务	代表方法
对比学习	graphMVP, 3D-Infomax, MoleculeSTM, GeomGCL, MIRACLE
掩码预测	ISMol, MolT5, BioT5, GIT-Mol, U2-3DPT
匹配预测	MolCA, ISMol, MGIB
自回归预测	TamGen, MolGPT, Lingo3DMol, ChatMol, UniMoT
多任务组合	MOLEBLEND, KANO, MolFM, 3D-MOLM

---

写在最后

本文的贡献可概括为以下四点：

系统性：全面覆盖了多模态分子表示的六种模态形式、五类神经网络框架、四类预训练任务和三种训练策略，构建了一个完整的知识体系。
前瞻性：明确归纳了“Transformer + GNN 融合”与“分子文本桥接大语言模型”两大趋势，为后续研究指明了方向。
实用性：文中图 6 的全景汇总图具有很高的检索参考价值。
开放性：配套的 GitHub 仓库整理了关键参考文献，方便复现和追踪。