MIT与英伟达开发TLT技术:大模型训练效率提升210%
IT之家2月28日消息,麻省理工学院新闻网站于2月26日发布研究动态,披露该校联合英伟达等科研机构推出名为“驯服长尾”(TLT)的创新技术,该技术能显著提升大语言模型(LLM)在强化学习训练中的效率表现。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
据IT之家引述论文内容指出,大模型擅长通过分步推理处理复杂问题,但在强化学习(RL)训练流程中,其计算资源与能源消耗往往极为庞大。
研究团队发现,生成多个备选答案的“推演”阶段占据了高达85%的训练时长。由于不同处理器生成回复的文本长度存在差异,处理速度较快的处理器常被迫闲置,需要等待其他处理器完成长文本任务,由此形成严重的效率瓶颈。
为解决这一痛点,麻省理工学院研究人员联合英伟达、苏黎世联邦理工学院等机构,共同提出名为“驯服长尾(TLT)”的自适应解决方案。

该方案的核心在于创新性地运用“投机解码”技术,通过训练一个轻量级的“草稿模型”快速预测大模型的未来输出,再由大模型批量验证这些预测结果。这种机制使得大模型无需逐词顺序生成内容,从而大幅加快了整体处理速度。


传统投机解码方案中,草稿模型通常仅训练一次并保持静态参数。但在强化学习场景下,主模型需要经历数千次迭代更新,静态草稿模型会迅速失效。

为此,TLT系统引入了“自适应草稿训练器”。当部分处理器完成短查询任务进入闲置状态时,系统会立即调度它们实时训练草稿模型。同时,“自适应推演引擎”会根据工作负载特征自动调整解码策略,确保草稿模型始终与目标大模型保持高度同步,且不产生额外计算开销。

基于真实世界数据集的测试表明,TLT技术在完全保持模型准确率的前提下,将多个推理大语言模型的训练速度提升了70%至210%。

值得一提的是,训练得到的轻量级草稿模型还可作为免费副产品,直接用于后期的高效部署。研究团队计划将该技术融入更多训练与推理框架,进一步降低AI开发成本并提升能源利用效率。

参考文献
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
美团小象西南首店启幕:成华三大消费助力春启新程
00:57封面新闻记者 易弋力3月27日,美团小象超市西南开城仪式在成都万象城举办,春启成华三新促消费活动正式启动。联动全区商家、特色首店的成华消费场景上新月也同步进行中。尝鲜赏春正当时,从成华出发
京东物流第13架货机投用,渝长三角次晨达再加密
IT之家 3 月 28 日消息,3 月 27 日,京东物流旗下第 13 架全货机在重庆投用运营,并同步开通重庆 = 芜湖全货机航线。IT之家从最新介绍获悉,京东物流此次投用的 B738 货机满载吨位
AI违规致案件激增5倍:擅删邮件与滥用成隐患
IT之家 3 月 28 日消息,英国卫报昨日(3 月 27 日)发布博文,报道称由英国政府资助的一项最新研究显示,过去六个月内,AI 聊天机器人违抗人类指令、实施欺骗的真实案例激增五倍,总数近 70
吉利银河L7竖向大屏版更新Flyme Auto 2系统
IT之家 3 月 28 日消息,吉利公布银河 L7 最新更新内容,银河 Flyme Auto 2 智能座舱系统竖屏版全国 OTA 于 3 月 26 日起分批推送。IT之家整理如下:地图升级:新增巡航
我国科研破解炎性衰老密码:开辟十大科学进展与精准干预新路径
近日,国家自然科学基金委员会发布了2025年度“中国科学十大进展”,“炎性衰老机制解析与多维靶向干预”入选。 我国科学家在衰老机制研究领域取得原创性突破,系统揭示多器官衰老核心驱动力,发现内源
- 日榜
- 周榜
- 月榜
相关攻略
2015-03-10 11:25
2015-03-10 11:05
2021-08-04 13:30
2015-03-10 11:22
2015-03-10 12:39
2022-05-16 18:57
2025-05-23 13:43
2025-05-23 14:01
热门教程
- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程

