英伟达刷新DeepSeek V4推理纪录 单Token成本降至1/5吞吐量提升20倍
英伟达近日发布博文称,在 Blackwell 平台上借助全栈推理优化技术,相比 DeepSeek V4 模型初始上线阶段,单 Token 推理成本已降低至原来的五分之一。需要强调的是,这一对比基准是模型上线初期的水平,而非近期版本,成本降幅非常显著。 先简要说明“单 Token 成本”——它指的是模
英伟达近日发布博文称,在 Blackwell 平台上借助全栈推理优化技术,相比 DeepSeek V4 模型初始上线阶段,单 Token 推理成本已降低至原来的五分之一。需要强调的是,这一对比基准是模型上线初期的水平,而非近期版本,成本降幅非常显著。

先简要说明“单 Token 成本”——它指的是模型生成或处理每个 token 所需费用的关键指标。业内常以此横向对比不同硬件、软件栈或部署方案的推理性价比。英伟达此次明确将单 Token 成本纳入 AI 总拥有成本(TCO)的核心评估维度,并宣称针对 DeepSeek v4,Blackwell 平台已实现行业最低的推理成本。
那么,这五分之一的成本降幅是如何实现的?答案在于三层协同优化架构:生产运营层、应用加速层和基础设施访问层。具体来说,生产运营层负责分布式服务编排、自动扩缩容及内存管理;应用加速层专注运行时优化,包括计算与通信重叠、内核融合等硬核技术;基础设施访问层则高效调用 GPU、网络、内存与系统资源。三层各司其职,共同推动成本下降。
更值得关注的是性能提升。英伟达通过分离式服务、大规模专家并行、基于 NVIDIA NVLink 的并行通信、NVFP4 精度以及多 token 预测等创新技术,使 Blackwell 平台单 GPU 的 token 吞吐量最高提升至 20 倍。20 倍意味着原来处理一次任务的时间,现在可以完成二十次,推理成本自然被大幅摊薄。
总结来看,此次刷新纪录并非依赖单一硬件突破,而是全栈协同优化的结果——从运营调度到运行时优化,再到基础设施调优,每个环节都在持续压低推理成本。对于部署 DeepSeek V4 的团队而言,这无疑是一个实实在在的利好消息。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:英伟达刷新DeepSeek V4推理纪录 单Token成本降至1/5吞吐量提升20倍要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点GoogleMeet是面向商业与企业的视频会议服务,支持屏幕共享、实时字幕及与GoogleWorkspace集成,适用于项目讨论、网络研讨和线上教学等多种会议场景,具备扎实的安全与隐私保护。
Lanter是Chrome扩展,利用AI将YouTube视频语音转为带时间戳的文字笔记,支持一键抓取高光、自动标点排版、书签管理、全局搜索及每日邮件汇总,方便高效回顾视频关键内容。
一款AI驱动的Chrome扩展音频笔记应用,支持录音自动转文字、标签分类与全文搜索,将语音转化为可检索的数字资产,显著提升信息定位与管理效率。
专为GoogleMeet设计的AIChrome扩展,实时转录会议内容,自动生成摘要并提取行动项与决策,无缝同步至Google文档、任务及Gmail,省去手动整理时间,显著提升协作效率。
- 日榜
- 周榜
- 月榜
热点快看
