AIGC时代多模态知识工程的思考与展望

AIGC时代的多模态知识工程：思考与展望

本教程将带你深入探讨AIGC（生成式人工智能）技术背后的“光芒”与“暗面”，并展望多模态知识工程在AIGC时代中的价值与演进方向。内容涵盖AIGC发展历程、现有不足、多模态认知智能框架、以及大模型与多模态知识图谱（MMKG）之间的竞合关系。全文分为六个部分，帮助你系统理解这一前沿领域的核心议题。

01 AIGC时代：未来已来

随着人工智能整体发展，生成式人工智能技术（AIGC）不断迭代，经历了三个阶段：

• 早期萌芽阶段（20世纪50年代~90年代中期）：受限于技术，AIGC仅在小范围实验中间出现。典型事件包括1950年艾伦·图灵提出“图灵测试”、1966年首个对话机器人“Eliza”、80年代中期IBM的语音控制打字机“Tangora”。
• 沉淀积累阶段（20世纪90年代~21世纪10年代中期）：从实验性转向实用性，但仍受算法瓶颈限制。典型事件有2007年第一部完全由AI创作的小说《1 the road》、2012年微软的全自动同声传译系统。
• 快速发展阶段（21世纪10年代中期至今）：深度学习算法不断迭代，生成内容百花齐放。2014年GAN（生成对抗网络）用于图像生成，2019年StyleGAN高质量图片生成、DVD-GAN视频生成，2022年ChatGPT文本生成。

ChatGPT的爆红出圈宣告了AIGC时代的到来。

当前AIGC可生成文本、图像、音频、视频等内容。典型算法如Stable Diffusion（图像生成），创业公司如Jasper AI（AI写作）、Midjourney（AI绘画）推动应用落地。右图是一张趣味图片——机器人一家三口在人类博物馆中观赏“GPT-5也没啥了不起的”推文，表达了对技术飞速发展的隐&隐担忧。

多模态大模型发展迅速，可简单分为多模态统一大模型（用于统一生成和理解）和多模态文图生成大模型（具备强大的文到图生成能力）。

当前文图生成大模型已能生成逼真、高清、风格化的意境图像。

斯坦福大学提出的ControlNet，生成能力更加精致可控，可通过简笔画操控图像生成。

AIGC大模型生成的视频自然流畅、栩栩如生。

Google发布的PaLM-E模型（5620亿参数）展现了具身多模态大模型的情景，可将真实世界传感器信号与文本结合，用自然语言操控机器人完成操作规划和视觉问答等任务。

AIGC的惊艳效果引发了对符号主义（知识工程）研究的质疑。Rich Sutton在《苦涩的教训》中指出唯一导致AI进步的是更多数据和更有效计算，DeepMind研究主任Nando de Freitas宣称“AI现在完全取决于规模”。然而，AI的流派之争真的结束了吗？

02 AIGC的阿克琉斯之踵

尽管ChatGPT（含GPT-4）很强大，但存在以下问题：

• 强语言弱知识：无法理解用户查询中的知识性错误。
• 实时信息更新慢：知识停留在2021年，更新需高成本重新训练。
• 逻辑推理不可靠：尚不具备复杂数学与专业逻辑推理能力。
• 缺乏领域知识：无法为领域专业问题提供靠谱答案。

当前多模态大模型的跨模态生成能力尚不完善。上图是Stable Diffusion生成的案例，存在组合泛化、属性泄露、方位理解混乱、语义理解错误等问题。尽管视觉效果惊艳，但模态间信息不对称明显。

多模态理解能力也存在问题：BLIP2视觉问答错误样例显示——缺乏事实知识（将“Wilson”logo误答为“nike”）、欠缺逻辑推理（不理解场景和问题逻辑）、常识储备不足（冲浪场景下意图理解错误）。

Google的PaLM-E虽实现初步机器人操控，但其demo中空间范围、物品种类、任务复杂度非常有限。若要在真实世界达到实用级别，参数规模是否需增大百倍、千倍甚至万倍？一味用海量参数存储所有知识，智慧涌现的代价是否过于昂贵？

小结：多模态大模型的本质是“用语言解释视觉，用视觉完善语言”。其重要作用的前提是：海量高质量图文配对数据、文字富含事实知识和常识、逻辑推理过程可显式化被学习。但现实是：数据量大质量差、文字知识不完备、逻辑推理隐性难以学习。这些差距导致上述问题。统计大模型难以低成本全面准确地掌握人类知识、常识和逻辑推理能力。

03 多模态认知智能

多模态认知智能研究框架：基于多模态数据的知识获取、表示、推理与应用。知识获取可从语料中抽取、生成、群智或从语言模型中萃取；知识表示可用多模态图谱、常识图谱、语言模型、大规模知识网络等；进一步支撑多模态理解、推理、元认知，赋能跨模态搜索、推荐、问答、生成等应用。

两种实现路径对比：

• 多模态大模型（联结主义/经验主义）：从海量预训练数据学习概率关联，简单鲁棒，优势在于端到端、干预少、“数”尽其用；劣势在于难以学习因果、主次、整体部分、具体一般等逻辑关系。
• 多模态知识工程（符号主义）：从精选数据和专家知识学习符号关联，精细脆弱，优势在于易推理、可控、可干预、可解释；劣势在于数据转符号过程信息损失大，隐性知识难以表达。

在AIGC大模型时代，多模态知识工程依然不可或缺。

当前多模态知识工程的主要形式之一是多模态知识图谱（MMKG）。MMKG在传统知识图谱基础上增加图像、视频、语音、代码等多模态数据，实现符号接地到具象视觉对象，完成跨模态语义对齐。

两种主流形式：

• A-MMKG：多模态数据仅作为文字符号实体的关联属性存在。
• N-MMKG：多模态数据也可作为图谱实体，与现有实体广泛关联。

多模态大模型优缺点对比：

优点：关联推理能力强、多任务通吃、人工成本低、适配能力强。
不足：可靠程度低、知识推理弱、可解释性弱、训练成本高。

多模态知识图谱优缺点：

优点：专业可信度高、可解释性好、可扩展性强。
不足：推理能力弱、人工成本高、架构调整难。

大模型与知识图谱应继续保持竞合关系，互相帮助，互为补充。

04 AIGC for MMKG

AIGC大模型如何辅助MMKG构建与应用？六个方面：

1. 为知识获取降本增效

• 知识诱导：从语言大模型萃取语言知识和关系知识；从多模态大模型萃取跨模态对齐知识和视觉常识知识。
• 零样本/少样本/开放知识抽取：利用ChatGPT从文本抽取三元组；利用多模态AIGC从图文数据抽取多模态知识。
• 增强垂域多模态知识获取：GPT-4、ChatPDF等显示强大领域知识抽取能力，如多模态文档抽取。

2. 助图谱设计一臂之力：大模型拥有领域常识，可辅助完成schema半自动化设计。例如用多模态AIGC生成cms领域schema。

3. 为知识推理保驾护航：基于大模型跨模态生成与推理能力，辅助KG表示学习、图谱补全。

4. 为知识融合扫清障碍：利用大模型泛化能力，辅助多模态知识图谱融合，如在两个MMKG间生成实体语义特征辅助对齐。

5. 为知识更新添砖加瓦：辅助新事实抽取、更新MMKG、过期事实检测删除。

6. 为知识问答锦上添花：利用大模型语言理解与解析能力，助力MM-KGQA和K-VQA任务，提升问题解析与知识推理。

小提示： 在实际应用中，可以先用大模型进行开放域知识抽取，再人工校验补充，这样既降低人力成本又保证质量。

常见问题： Q：AIGC大模型抽取的知识是否可靠？
A：不一定完全可靠，可能存在幻觉或偏差。建议对抽取结果进行人工审核或结合知识图谱已有事实进行验证，尤其在高精度场景中。

05 MMKG for AIGC

MMKG如何助力AIGC大模型的提升与完善？四个方向：

1. 参与生成能力评估：基于MMKG构建测试集，进行事实性检验、符号推理能力评估、视觉常识推理评估、非语言推理评估等。

2. 引导可控约束生成：通过文本链接到MMKG的具体实体，提供实体图像或属性信息，帮助正确生成符合实体特点的图像或文本。

3. 帮助知识编辑：利用MMKG对多模态大模型进行知识编辑，修改或更新模型中的错误或过时知识。

4. 辅助领域（任务）适配：用MMKG做领域知识微调，将大模型适配到特定任务。例如在电商跨模态检索中，通过微调大模型并加入多模态知识，实现轻量级领域适配（与阿里合作案例）。

常见问题： Q：MMKG引导生成是否会限制大模型的创造力？
A：不会。MMKG提供的是约束和事实保障，确保生成内容在逻辑和常识上正确，模型依然可在约束范围内自由发挥创造力。例如生成“戴帽子的猫”，MMKG提供“猫”的标准形象，模型可在此基础上添加帽子样式和颜色。

06 AIGC+MMKG

走向通用人工智能需要AIGC大模型和MMKG携手并进。未来基于知识工程和统计模型的语言认知与多模态感知将相互结合，共同走向多模态认知。从视觉感知到语言认知，从连接主义到符号主义，通用人工智能必是一条融合之路。

四种融合方式：

• 注入知识增强预训练：将场景图知识融入视觉语言预训练模型，增强跨模态理解（已有路径）。未来更多方式可将MMKG知识融入大模型。
• 知识检索增强多模态生成：给定文本提示，访问外部多模态知识库检索相关图文对，作为生成图像的参考。
• 因果知识增强多模态生成：利用因果图谱中的因果关系和图推理能力，辅助大模型因果决策，未来可用因果信息优化多模态理解与生成。
• 个性化知识接入多模态生成：每个个体或企业可拥有AI私有化助手，管理个性化多模态知识（个人画像、企业画像、价值观等），以可插拔方式接入大模型，提高个性化生成能力。

Microsoft 365 Copilot是知识库与大模型协作的划时代产品，借助Microsoft Graph（知识库）与AIGC大模型融合，提升Word、PowerPoint、Excel生产力。

在行业落地层面，通用大模型与行业应用场景存在鸿沟，需进行行业数据挖掘和行业知识获取，训练更实用的行业大模型。多层次模型（通用预训练大模型、行业领域预训练模型、任务小模型）与知识库、外部工具构成模型共同体，协作解决复杂行业问题。

小提示： 行业落地时，建议先利用MMKG构建领域知识库，再通过检索增强（RAG）方式与大模型搭配，既能保证回答的专业性，又能降低大模型的幻觉风险。

总结

主要观点如下：

• AIGC技术发展必将加速迈向通用人工智能，但仅凭AIGC技术无法真正实现。
• 在多模态领域，MMKG的构建与应用仍具重要价值。
• AIGC和MMKG应相互借力：AIGC用于MMKG（知识获取、设计、推理、融合、更新、问答），MMKG用于AIGC（评估、约束生成、知识编辑、领域适配），以及两者融合（注入知识、检索增强、因果增强、个性化接入）。

未来，符号知识和统计模型的竞合方式有待进一步深入探索。

常见问题（总结）： Q：对于初学者，如何快速入门多模态知识工程与AIGC的结合？
A：建议先理解基本概念（如知识图谱、多模态大模型），然后尝试用现成工具（如OpenAI API + Neo4j构建简单KG）做一个交互式问答Demo。参考本教程中的“AIGC for MMKG”部分，利用大模型自动抽取知识并填充图谱，逐步深入。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：AIGC时代多模态知识工程的思考与展望要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题