DeepSeek回应OpenAI质疑：合成数据争议首度官方说明

9月18日，DeepSeek团队发表的重要研究成果DeepSeek-R1登上《Nature》杂志封面，由梁文锋担任通讯作者。该论文首次正面回应了业内对模型蒸馏技术的质疑。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

研究团队明确指出，DeepSeek-V3-Base的训练数据完全来源于普通网页和电子书，严格避免使用人工合成的训练数据。即使在预训练的最后阶段，所有的数据都来自真实的网页抓取结果，不存在故意引入OpenAI生成内容的情况。

然而，DeepSeek也坦诚承认，在互联网抓取过程中可能无意采集到部分包含OpenAI生成答案的网页内容。这种情况可能导致模型间接受益于其他先进AI系统的知识输出。

值得关注的是，DeepSeek-V3-Base的训练数据截止于2024年7月，这个时间节点早于当前主流推理模型的公开发布时间，这一事实大大降低了模型无意中吸收其他推理模型输出的可能性。

研究团队特别说明，R1模型的推理能力并非通过复制OpenAI的输出案例习得。和大多数大语言模型一样，它只是通过对公开网络数据的常规学习过程，自然吸收了互联网上现有的AI生成内容。

在方法论上，DeepSeek采用了创新的纯强化学习框架，并开发了组相对策略优化算法。这种训练方式仅根据答案的正确性给予反馈，而不强制模型模仿人类推理过程，最终使得模型自主发展出自我反思、自我验证等高级认知能力。

来自Hugging Face的机器学习专家Lewis Tunstall评价称，现有实验结果充分证明单纯的强化学习框架就能取得卓越性能，DeepSeek的推理方案可能已经足够优秀，确实无需依赖其他模型的知识蒸馏。