ICLR 2026 Oral：破解多模态知识图谱噪音关联难题

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

在数据类型日益多元化的今天，现实世界中的人、事、物都可以通过多种模态被记录与呈现。顺应这一趋势，多模态知识图谱作为一种集成了文本、图像、结构化关系等多种模态数据的信息载体，能够高效、全面地为各类下游应用提供数据支撑。作为构建知识图谱的核心技术，实体对齐致力于从不同来源的图谱中找出指向同一现实事物的实体，从而建立跨图谱的关联网络，促进知识的融合与互联。

然而在实际构建过程中，大规模知识图谱的关联与融合并非易事。模型往往会同时面临噪声关联和隐藏关联的双重挑战。如图一 (a) 和 (c) 所展示的几种典型情况：

噪声关联：当你试图为“海王”杰森·莫玛关联图像时，可能因为视觉上的高度相似，错误地将演员徐锦江的照片与之匹配；或者，当你看到名字高度相似的《史密斯夫妇》与“威尔·史密斯夫妇”时，可能会误以为它们指向同一部电影作品，而后者其实是指明星本人的家庭组合。

隐藏关联：当模型想要查找著名足球运动员C罗时，发现搜索到的实体图像竟然是“葡萄牙国旗”，于是认为这并不是想查询的“人”。殊不知，这恰恰正是C罗的国籍信息。这种隐藏在深处的语义关联，常常被模型忽略。

近日，一项来自四川大学的研究揭示了上述现象在大规模知识图谱中广泛存在。研究团队提出了一种新方法，能够有效缓解噪声关联和隐藏关联对实体对齐带来的负面影响，有望推动大规模知识图谱的关联与融合。目前，该论文已被机器学习顶级会议ICLR 2026接收为口头报告（Oral）。

论文标题：Learning with Dual-level Noisy Correspondence for Multi-modal Entity Alignment

背景与挑战

多模态实体对齐旨在识别异构图谱中的同一实体，而图谱中的每个实体都与多种属性相关联。为了建立异构图谱间的关联，现有方法通常会先根据实体内部的属性关联来融合多模态信息，以获取更丰富的实体表征，然后再根据跨图谱的实体或属性间的对应关系，在实体层面和属性层面进行对齐，以消除差异。

然而，现有方法通常假设实体内部和跨图谱的关联都是完全正确的，忽略了知识图谱中广泛存在的噪声关联问题。据统计，部分基准测试数据集中有超过50%的实体受到噪声关联的影响。如图1 (b) 所示，噪声关联不仅会破坏实体内部不同属性的有效融合，还会误导跨图谱的对齐过程，这两方面因素都将导致模型性能显著下降。

除了噪声关联现象，现有的多模态实体对齐模型通常仅依赖浅层的表面相似度来判断关联程度，忽略了模型在进行推理时，往往存在一些看似不同但本质相同的属性。如图1 (c) 所示，这些隐藏的语义关联往往会影响到实体对齐的准确性。

图1：噪声关联和隐藏关联的示意图，以及针对二者设计的观测实验。

针对噪声关联和隐藏关联的挑战，本文提出了RULE方法，其主要贡献如下：

揭示并形式化了多模态知识图谱中的噪声关联问题，从多属性融合和跨图谱对齐两个层面深入探讨了噪声关联带来的负面影响。在测试阶段设计了关联推理模块，以确保更准确的实体识别，率先在实体对齐领域探索了增强模型在测试阶段的鲁棒性。为检验现有方法的鲁棒性，建立了统一的基准测试，覆盖了5个广泛应用的数据集。

方法