Yann LeCun谈大模型未来路径：多模态预训练是关键
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
机器之心编辑部
在基础模型时代，大模型各项能力的爆发式增长，很大程度上得益于海量文本的预训练。但问题在于，文本本质只是人类对现实世界的一种抽象表达，是对真实世界信息的有损压缩。
借柏拉图《洞穴寓言》的比喻来说：语言模型早已非常擅长描述洞穴墙壁上的影子，却从未真正看到过投射这些影子的实体。它们能够很好地捕捉符号，却难以理解物理世界中高保真的物理规律、几何结构以及因果关系。
除了这种哲学层面的局限，还面临一个更现实的天花板：高质量的文本数据是有限的，并且正逐渐接近枯竭。
相比之下，视觉世界拥有近乎无限的信号来源。那些洞穴之外的信息，记录着现实世界最原始的动态变化，而这些恰恰是语言所无法完整表达的。
因此，未来的发展路径需要走出“影子世界”，直接去建模现实本身。
为此，来自Meta与纽约大学的研究者们转向了统一的多模态预训练：不再将视觉信号视作一种辅助输入，而是将其与语言一样，视为模型中的一等公民。
论文标题：Beyond Language Modeling: An Exploration of Multimodal Pretraining
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
同类文章
华为AI深度布局：如何引领科技变革新格局
新智元报道编辑：艾伦【新智元导读】华为诺亚方舟实验室主任王云鹤官宣离职。我们梳理了王云鹤的经历。王云鹤今日在朋友圈官宣，将辞去华为诺亚方舟实验室主任职位，告别华为。从 2025 年 3 月到今天，王
Claude限流，Altman紧急叫停Sora：AI竞争格局改变
新智元报道编辑：元宇【新智元导读】Sora应用关停，Claude却因太火而被限流：一个烧不起，一个供不上，算力墙面前，AI竞赛的胜负手突然变了。一夜之间，打工人突然发现：Claude开始限流了。An
谷歌内存论文疑被抄袭，华人学者控诉业内学术不公
新智元报道编辑：好困 Aeneas【新智元导读】把闪存股一夜干崩的谷歌顶会论文，出大事了。TurboQuant的核心方法，两年前就被一位华人学者做完、发完顶会、代码全部开源了。谷歌不仅没正面提及，而
OpenClaw漏洞威胁：智能家居被反锁与隐私泄露风险
新智元报道编辑：倾倾【新智元导读】2025年底，极客圈发生了一场数字哗变，Anthropic的遮羞布被Peter Steinberger撕了个精光。从OpenClaw开源到Claude被扒出80页「
华为大模型负责人离职，重大人事变动引发行业关注
智东西作者｜江宇编辑｜冰倩智东西3月28日报道，今日，华为诺亚方舟实验室主任、华为盘古大模型负责人王云鹤在朋友圈发文，确认离职。王云鹤于2017年以华为北京部门首位实习生身份加入，至今已接近9年。在
- 日榜
- 周榜
- 月榜
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
