刚刚深度求索V4发布DSpark更新 推理速度提升高达80%
DeepSeek V4 迎来新版本更新,此次悄然发布了一项重大突破。最新推出的投机解码框架 DSpark 现已同步上线,同时支撑该版本的全栈推测性解码框架 DeepSpec 也已全面开源。 需要特别说明的是,本次并非全新架构的模型换代,而是在 DeepSeek-V4-Pro 的基础上集成了推测性解码
DeepSeek V4 迎来新版本更新,此次悄然发布了一项重大突破。最新推出的投机解码框架 DSpark 现已同步上线,同时支撑该版本的全栈推测性解码框架 DeepSpec 也已全面开源。
需要特别说明的是,本次并非全新架构的模型换代,而是在 DeepSeek-V4-Pro 的基础上集成了推测性解码模块。简单来说,此次更新的核心聚焦于工程落地与性能优化,而非模型能力本身的迭代提升。
目前,DSpark 已部署在 DeepSeek-V4(Flash 和 Pro)的真实线上流量中,效果立竿见影——大语言模型的推理速度获得显著提升。

技术报告:《DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation》
技术报告链接:https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
DSpark 的设计初衷,归根结底在于解决生产环境中的长期痛点——特别是在高并发场景下,LLM 推理所面临的延迟与吞吐量瓶颈。其核心思路是成功地将高吞吐量的「并行生成」与自适应的「负载感知验证」相结合,从而实现高效加速。
推测性解码究竟是什么?它本质上是一种不改变模型输出分布、却能显著加速大模型推理的技术。其核心思路是引入一个轻量级的「草稿模型」,先预生成一批候选 token,再由目标模型进行批量验证并决定接受或拒绝。这样一来,原本串行的逐 token 生成就转变为了并行批量校验,端到端延迟自然大幅降低。
而 DSpark 的创新之处在于引入了 半自回归生成架构(Semi-Autoregressive Generation)。该架构在保留并行草稿模型高吞吐优势的同时,加入了一个轻量级的串行模块,专门对 block 内 token 之间的依赖关系进行建模。这样做的目的:就是为了缓解并行草稿模型在后续位置上容易出现的接受率衰减问题,从而提升整体生成效率。
另一个关键创新是 硬件感知的置信度调度验证(Confidence-Scheduled Verification)。以往的投机解码往往将生成的草稿 token 一股脑全部送去做验证。当系统负载较高时,那些极大概率被拒绝的尾部 token 就会白白浪费宝贵的批处理算力。DSpark 则引入了一个置信度头,专门评估每个 token 的存活概率。再结合硬件感知前缀调度器,系统能够根据实时的引擎吞吐量,动态为每个请求量身定制最优的验证长度,将算力精准投入到预期回报最高的 token 上。
为了保证在真实线上基础设施中的可靠落地,DSpark 的调度器还采用了异步机制,能够兼容零开销调度和连续的 CUDA 图回放。它利用前两步的历史预测值来决定当前的动态截断长度,从而有效隐藏调度延迟,避免 GPU 流水线停顿,同时确保目标模型的输出分布完全无损还原。

测试数据也极具说服力。在数学推理、代码生成和日常对话等多个领域,DSpark 大幅超越了当前最先进的自回归模型(Eagle3)和并行草稿模型(DFlash)。举例来说,在 Qwen3 系列(4B、8B、14B)目标模型上,它的平均接受长度相比 Eagle3 提升了 26.7% 到 30.9%,相比 DFlash 提升了 16.3% 到 18.4%。

与上一代已部署的单 Token 生产基准(MTP-1)相比,在维持相同总体吞吐量的前提下,DSpark 将用户的生成速度分别提升了 60%-85%(Flash 模型)和 57%-78%(Pro 模型)。

与 DSpark 一同开源的 DeepSpec,是一个用于训练和评估推测性解码草稿模型的全栈代码库。它不仅承载了 DSpark 方案,还集成了其他前沿算法的实现,堪称「开源基础设施」。代码库中包含了数据准备工具、草稿模型的具体实现、完整的训练代码以及评估脚本,一应俱全。
DeepSpec 将整体流程拆分为三个阶段:数据准备、训练和评估。三个阶段需按顺序执行,前一阶段的输出将作为后一阶段的输入。
在数据准备阶段,需要下载提示词数据,利用推理引擎对目标模型重新生成答案,并构建目标缓存。值得注意的是,以默认的 Qwen/Qwen3-4B 配置为例,目标缓存体积可达约 38 TB。在动手操作之前,务必提前评估好存储资源。
训练阶段可通过 bash scripts/train/train.sh 启动。该脚本会调用 train.py,并为每张可见的 GPU 启动一个 worker。用户可以通过指定 config_path,在 config/ 目录下选择不同算法和目标模型配置。项目也支持通过覆盖 config_path、target_cache_dir,以及使用 --opts 修改单个配置字段来灵活调整训练设置。
在硬件方面,DeepSpec 的默认配置面向单节点 8 卡环境。如果你的 GPU 数量较少,则需要相应减少 CUDA_VISIBLE_DEVICES 中的可见 GPU 数量。
评估阶段通过 bash scripts/eval/eval.sh 启动。评估脚本会使用训练好的草稿模型 checkpoint,在多个 speculative decoding 基准任务上衡量接受情况。项目当前列出的评估数据集包括 GSM8K、MATH500、AIME25、HumanEval、MBPP、LiveCodeBench、MT-Bench、Alpaca 和 Arena-Hard-v2,全面覆盖数学推理、代码生成、对话能力和综合问答等不同任务类型。
在算法方面,DeepSpec 目前内置了三种草稿模型:DSpark、DFlash 和 Eagle3。目标模型系列方面,目前支持 Qwen3 和 Gemma。
DeepSpec 的开源,将此前散落于各研究团队内部的推测性解码工程实践,整合成了一套可复现、可扩展的标准化工具链。对于希望为自己的大模型加速推理的研究者和工程师而言,这意味着可以直接在成熟的框架上训练定制草稿模型,从而跳过大量重复的基础设施搭建工作。
参考链接:
https://github.com/deepseek-ai/DeepSpec/blob/main/DSpark_paper.pdf
https://github.com/deepseek-ai/DeepSpec
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:刚刚深度求索V4发布DSpark更新 推理速度提升高达80%要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点度加剪辑是百度官方出品的剪辑工具,面向口播自媒体创作者。支持视频剪辑、智能识别字幕,并与百度网盘打通,可快速导入素材。适用于泛知识类创作者制作高质量视频,覆盖从素材导入到成品输出的完整流程。
WorkoutMaster是一款基于AI的个性化锻炼计划生成工具,能根据用户目标、偏好及历史训练记录,动态输出专属方案,并实时自适应调整负重、组次等参数。支持定制目标与器械偏好,借助机器学习持续优化,随时随地即可接入使用,确保训练高效安全。
Calorielens是一款利用AI分析餐食照片的卡路里追踪应用。用户只需拍照,AI即可自动识别食物种类和分量并估算卡路里,省去手动输入步骤。应用还提供历史记录追踪功能,帮助把握热量趋势。AI估算精度可满足日常健康管理需求。
百度旗下“简单搜索”AI搜索引擎集成语音、图像、多媒体搜索及实时翻译,支持多模态交互与智能推荐。基于大模型技术,用户可通过对话式交互直接获取精准答案,适用于学习、旅行、生活、职业发展等场景,高效满足信息需求。
- 日榜
- 周榜
- 月榜
热点快看
