李飞飞团队50美元复刻DeepSeek R1真相解析
AI领域又传来一个让人眼前一亮的新消息——斯坦福大学李飞飞团队联合华盛顿大学的研究人员,以不到50美元的云计算费用,成功训练出了一个名为s1的推理模型。这个成本低得离谱,但成绩却相当惊人:在数学和编码能力测试中,其表现竟能与OpenAI的o1、DeepSeek的R1等顶尖模型一较高下。具体来说,在竞
AI领域又传来一个让人眼前一亮的新消息——斯坦福大学李飞飞团队联合华盛顿大学的研究人员,以不到50美元的云计算费用,成功训练出了一个名为s1的推理模型。这个成本低得离谱,但成绩却相当惊人:在数学和编码能力测试中,其表现竟能与OpenAI的o1、DeepSeek的R1等顶尖模型一较高下。具体来说,在竞赛数学问题(MATH和AIME24)上,s1-32B的表现比o1-preview高出27%,在AIME24上几乎追平Gemini 2.0 Thinking API。而且,s1的代码和数据已经在GitHub上开源。
这个结果瞬间点燃了行业讨论。要知道,传统大模型的训练成本动辄数百万美元,s1这个“白菜价”几乎碘伏了人们对AI研发的固有认知——它意味着即使在极低的预算下,也能训练出有竞争力的模型。那么,这场低成本奇迹背后,到底藏着怎样的技术密码?
关键在于,s1并非“从零开始”训练。它基于阿里云通义千问(Qwen)的一款小型现成AI模型,低成本的底气正是建立在已有强大能力的开源基座之上。研究人员构建了一个名叫s1K的小型数据集,里面只包含1000个高质量的推理问题——这个规模在AI训练中堪称微乎其微,通常远远不够。但筛选标准极其严苛:必须同时满足难度高、多样性强、质量优良三个条件。消融实验表明,随机选择或只关注单一标准都会导致性能大幅下滑。更令人惊讶的是,即使用5.9万个样本的超集来训练,效果也远不如精心挑选的这1000个样本。
接着,研究团队通过蒸馏法从谷歌的Gemini 2.0 Flash Thinking Experimental模型中提取“思考”过程,最终雕琢出s1的推理能力。这种方法与伯克利研究人员上个月以约450美元创建AI推理模型的方式相同。训练时使用16台Nvidia H100 GPU,耗时不到30分钟,就在某些基准测试中取得了出色成绩。值得注意的是,如今只需约20美元就能租到所需的计算资源。此外,他们还运用了一种“预算强制”技术——通过控制测试时间计算,强制提前终止模型的思考过程,或者在推理中加入“wait”一词,来帮助模型得到更准确的答案。
当然,s1的局限性也不容忽视。首先,它高度依赖已有的强大基座模型,如果没有基座,低成本训练的效果会大打折扣。其次,1000个样本在处理复杂任务时通常不够用。还有分析人士质疑:如果任何人都能轻易复制和超越顶级模型,那大型AI公司多年的研发投入和技术积累会不会受到威胁?另外,蒸馏技术虽能低成本复现能力,但无法创造出远超现有模型的新AI。
与DeepSeek R1对比,s1在MATH测试中比GPT-4o高27%,接近Gemini 2.0,但仅限于特定题型;DeepSeek R1则覆盖更广泛的数学场景,通用性更强。在HUMANEVAL测试中,s1达到75%通过率(接近GPT-4水平),但依赖基座模型Qwen的代码能力;DeepSeek R1内置代码解释器,支持多语言混合编程,长上下文处理更稳定。s1通过“小数据高精度蒸馏”实现超低成本,却依赖外部模型的知识迁移;而DeepSeek R1采用全自研技术链,虽成本较高,但具备独立迭代能力。这也引发了一个争议:依赖外部模型蒸馏是否构成“技术套利”?此前OpenAI就曾指控DeepSeek不当使用其API数据进行蒸馏。
尽管争议不小,但s1的研究思路无疑为AI领域提供了新的思考方向。小数据加强蒸馏,让中小团队也能突破算力壁垒,参与到AI的竞争中;而完整公开的训练链路,很可能催生出更多低成本的垂直模型。从长远来看,这或许是推动AI普惠化的重要一步。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:李飞飞团队50美元复刻DeepSeek R1真相解析要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点GoogleMeet是面向商业与企业的视频会议服务,支持屏幕共享、实时字幕及与GoogleWorkspace集成,适用于项目讨论、网络研讨和线上教学等多种会议场景,具备扎实的安全与隐私保护。
Lanter是Chrome扩展,利用AI将YouTube视频语音转为带时间戳的文字笔记,支持一键抓取高光、自动标点排版、书签管理、全局搜索及每日邮件汇总,方便高效回顾视频关键内容。
一款AI驱动的Chrome扩展音频笔记应用,支持录音自动转文字、标签分类与全文搜索,将语音转化为可检索的数字资产,显著提升信息定位与管理效率。
专为GoogleMeet设计的AIChrome扩展,实时转录会议内容,自动生成摘要并提取行动项与决策,无缝同步至Google文档、任务及Gmail,省去手动整理时间,显著提升协作效率。
- 日榜
- 周榜
- 月榜
热点快看
