知识图谱赋能大模型深层推理的演进历程

两个月前的一个深夜，智谱AI总部灯火通明，一场面向垂直行业的闭门会正在进行。行业学术专家和大模型解决方案专家围坐在一起，探讨AI落地的真实前景。当话题转向“大模型”与“创新”时，有位发言者说了句话，让在场的人记忆深刻——大意是：“汽车”和“可再生能源”的结合，诞生了“新能源汽车”；“穿戴设备”和“传感器”的结合，诞生了“电子手环”。从宏观上看，是连接的胜利。而从微观上看，大模型通过Beam Search，把一个个原本不相关的“字”串联起来，形乘人能理解的一句话。本质上，都是“连接”。其实这些事物之间本身就存在某种隐性关系（汽车→汽油→非可再生能源→能源→可再生能源），只是以前没人捅破那层窗户纸。第一个捅破的人，就是“创新”。

知识图谱与人脑

想让机器模仿人脑的思考与推理，通常会想到“知识图谱”。不妨把上面新能源汽车的例子画成一张图：“汽车”和“汽油”，大家习惯放在一起说，大脑几乎不假思索，脱口而出，这是“快思考”。但要把“汽车”和“可再生能源”关联起来，就得沿着上图走一遍。发明家可能需要3秒钟，普通人也许一辈子都没连通过——这是“慢思考”。值得注意的是，“快”与“慢”是动态演变的。对我们2024年的地球人来说，【汽车→可再生能源】也变得像【汽车→汽油】一样顺口了。

知识图谱——危！？

上面这个例子要想让机器实现，关键在于两个问题：第一，这张“图”怎么建？（图谱构建）；第二，建好的“图”该怎么用？（图谱推理）。过去大量研究都围绕这两点展开，但如今看来，似乎都不太成立了。比如：

• 构建知识图谱：以前要做SPO三元组抽取（命名实体识别、关系抽取）、知识融合等复杂流程，现在一个Prompt就能替代全部任务；

• 用图谱做推理：以前要考虑表示学习推理、符号逻辑推理，现在大模型吸收了全世界的知识，上面那张图或许已经内化为模型参数，直接生成答案。如果“快思考”效果不理想，还能用CoT模拟人的“慢思考”，大幅提升效果。

那么，知识图谱还有用吗？或者更值得思考的是：在大模型时代，知识图谱该如何重新定义？这个问题，留给未来继续探索。

老树发新芽

带着这个问题，开始一些零散的探索，发现：沿着CoT的路线，已经涌现出不少基于知识图谱的推理方案。比如GoT（Graph of Thoughts）、ToG（Think on Graph）、RoG（Reason on Graph）等等。以ToG中的一张图为例，对比了三种技术方案的效果：

来源：《THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH》

图中提出的问题是：“目前堪培拉所在国家的多数党是什么？”

• 方案一：直接问大模型。它会回答：“我的知识停留在2021年9月，当时的多数党是自由党。”——显然是错误的。

• 方案二：传统KBQA方案。大模型先找到“堪培拉”所在“国家”是“澳大利亚”，然后基于“澳大利亚”去找“多数党”，发现这条知识不存在（not exit），于是回复：“抱歉，我没有足够的信息。”——不是信息不够，而是它太“懒”了。

• 方案三：即作者提出的方案。即使没有明确的“显性关系”表达“多数党”，依然可以根据“澳大利亚→总理→安东尼→领导政党→工党”来推测：多数党极有可能就是“工党”。

这种推理过程，与人脑的思维路径非常相似。

未来近在眼前

知识图谱回归了它的本质——知识的关联。符号主义派的加持，让现阶段在某些推理问题上表现不够好的联结主义派大模型，获得了更强大的能力。可以预期，它将帮助人类打通无数原本无人连接过、却具有高价值的“点”，把知识的发现与创新能力推向全新高度。

引申的方向

以上讨论都围绕知识图谱展开。如果再抽象一些，来到“图”结构，那就是更广阔的领域了。关于更广泛意义上的“图”如何与大模型结合产生更大价值，以下研究值得关注，欢迎有兴趣的朋友一起探讨：

• A Survey of Graph Meets Large Language Model: Progress and Future Directions
• Graph Meets LLMs: Towards Large Graph Models
• GPT4Graph: Can Large Language Models Understand Graph Structured Data? An Empirical Evaluation and Benchmarking
• GRAPHLLM: BOOSTING GRAPH REASONING ABILITY OF LARGE LANGUAGE MODEL
• ......（不一一列举）

当然，也有专门针对“知识图谱”与大模型结合的综述：《Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications》

来源：《Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications》

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：知识图谱赋能大模型深层推理的演进历程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题