庞若鸣最新研究破解预训练数据困境，提出苹果论文优化方案

AI领域重磅人事变动：前苹果基础模型负责人庞若鸣加盟Meta

三个月前，AI领域发生了一起备受瞩目的人事变动——苹果公司基础模型团队负责人、杰出工程师庞若鸣（Ruoming Pang）正式离职加入Meta。据业内人士透露，扎克伯格为此开出了高达两亿美金的天价薪酬，将其招致麾下的超级智能团队。

庞若鸣在领英上的最新资料显示，他已在新东家工作约三个月。值得注意的是，即便离职后，他在苹果期间参与的多项重要研究仍在陆续发表，其中一些成果在AI基础模型领域具有突破性意义。

突破性的合成数据预训练方法

在苹果任职期间，庞若鸣领导的团队负责开发Apple Intelligence及其他AI功能的核心基础模型。近期发表的一项研究成果尤为引人注目：

论文标题：Synthetic bootstrapped pretraining
论文链接：https://arxiv.org/html/2509.15248v1

随着AI模型规模的不断扩大，高质量训练数据的稀缺性正成为行业面临的严峻挑战。传统语言模型依赖于海量互联网文本进行训练，但数据规模的扩展已触及天花板。苹果研究团队开创性地提出，可以利用现有数据中未被充分发掘的跨文档关联性，通过合成数据的方式突破这一瓶颈。

研究团队发现，除了文档内部的语言关联外，不同文档之间其实存在着深层次的概念联系。比如，一篇关于Transformer架构的研究论文与其对应的开源实现代码，或者一部原著小说与改编剧本，虽然在表达形式上大相径庭，但都基于相同的核心概念。

创新性的SBP训练框架

针对这一发现，研究团队提出了名为"合成自举预训练(SBP)"的创新性框架，该流程包含三个关键步骤：

1. 相似文档对智能匹配：使用先进的嵌入模型识别语义相关的文档对
2. 条件概率建模：训练专有的"数据合成器"模型
3. 智能数据扩展：生成大规模的高质量合成语料

技术优势与实际成效

该方法的最大突破在于：

• 不需要依赖外部数据源或教师模型
• 能自动发掘数据间的概念性关联
• 生成的合成数据具有高度多样性和知识密度

实验数据表明，在同等数据规模下，SBP方法可以达到相当于使用20倍原始数据量的传统训练效果。这不仅大幅提升了模型的性能上限，更为突破当前数据瓶颈提供了切实可行的技术路径。

行业影响与未来展望

这项研究的重要价值在于：

• 开辟了数据高效利用的新方向
• 破解了大模型发展的数据瓶颈
• 实现了概念级别的知识学习

随着AI模型对高质量训练数据的需求与日俱增，SBP这样的创新方法很可能成为推动下一代AI发展的关键技术。这不仅为整个行业提供了新的技术思路，也为持续突破模型能力上限指明了方向。

对技术细节感兴趣的读者，可查阅原始论文获取更多信息。