当前位置: 首页
科技数码
大模型推理能力提升:突破熵崩塌,精确探索技术实现成绩飙升

大模型推理能力提升:突破熵崩塌,精确探索技术实现成绩飙升

热心网友 时间:2025-10-13
转载

大语言模型在RLVR训练中面临的“熵困境”,有解了!

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

2024年以来,以OpenAI o1、DeepSeek-R1、Kimi K1、Qwen3等为代表的大模型,在数学、代码和科学推理任务上取得了显著突破。这些进展很大程度上得益于一种名为RLVR(基于可验证奖励的强化学习)的方法。

该方法通过数学验证、单元测试等可自动判断对错的方式提供训练信号,替代了传统依赖人类评判的流程,使模型能够进行大规模、高效率的自我改进。

然而,RLVR在实践中始终面临“探索机制极易失衡”这一关键瓶颈——要么探索受限,陷入熵崩塌;要么探索失控,引发熵爆炸。

为突破这一瓶颈,来自上海人工智能实验室和复旦大学等机构的研究团队提出选择性熵正则化方法(SIREN),通过划定探索范围、聚焦关键决策、稳定训练过程的三重机制,实现了对探索行为的精准调控。

实验证明,该方法不仅在多项数学推理基准上取得了显著性能提升,更重要的是,它让模型的探索过程变得更加高效与可控。

下面详细来看——

核心困境:探索的“两难陷阱”

在RLVR训练中,研究人员期望模型能够持续探索多样化的解题路径,以避免过早陷入局部最优。

一个自然的想法是:引入熵正则化(entropy regularization)。

这是强化学习中鼓励探索的经典手段。其核心思想很简单:在优化目标中加入一项,鼓励模型在每一步生成时保持一定的“不确定性”,不要过早把概率全压在少数几个词上。

具体来说,就是计算每一步输出分布的熵(衡量“混乱程度”),再把整条推理轨迹的平均熵加到训练目标里,用一个系数

来源:https://36kr.com/p/3507408957299848

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章
更多
260皮秒定乾坤!我国成功研制新型光计算芯片:计算速度突破1.92TOPS

260皮秒定乾坤!我国成功研制新型光计算芯片:计算速度突破1.92TOPS

快科技4月7日消息,据湖北省经济和信息化厅正式,近日,国家信息光电子创新中心、光通信技术和网络全国重点实验室、鹏城实验室联合宣布,成功研发出多功能可编程的光电融合门阵列系统(P-FPGA)——Lig

时间:2026-04-07 13:19
奇瑞集团3月销量24.1万辆,单月出口再创中国汽车新纪录

奇瑞集团3月销量24.1万辆,单月出口再创中国汽车新纪录

汽车4月1日消息,3月份,奇瑞集团交出单月销量240,678辆的成绩单,同比增长12 1%。至此,奇瑞集团一季度累计销售汽车601,712辆。其中,新能源汽车销量161,202辆;出口393,311

时间:2026-04-07 13:19
NASA分享宇航员太空拍地球照片,“意外”宣传iPhone 17 Pro

NASA分享宇航员太空拍地球照片,“意外”宣传iPhone 17 Pro

IT之家 4 月 6 日消息,NASA 在 Flickr 平台发布了三张由阿耳忒弥斯 2 号宇航员拍摄的照片,号称是目前公开的首批人类手持智能手机从轨道上记录的地球影像,画面中可以看到任务指挥官 R

时间:2026-04-07 13:19
嘀嗒出行年营收5亿:同比降36% 经调整净利1.4亿降34.6%

嘀嗒出行年营收5亿:同比降36% 经调整净利1.4亿降34.6%

4月4日消息,嘀嗒出行(股份代號:02559)日前发布2025年的年报,年报显示,嘀嗒出行2025年营收为5 02亿元,较上年同期的7 87亿元下降36 2%。嘀嗒出行2025年来自出行相关服务收入

时间:2026-04-07 13:19
关于何时IPO,OpenAI内部现分歧:Altman希望四季度,而CFO认为尚未准备就绪

关于何时IPO,OpenAI内部现分歧:Altman希望四季度,而CFO认为尚未准备就绪

OpenAI在激进扩张路线与财务审慎之间的内部张力正浮出水面。据The Information报道,首席执行官Sam Altman私下表示希望最早于今年第四季度完成IPO,而首席财务官Sarah F

时间:2026-04-07 13:19
热门专题
更多
刀塔传奇破解版无限钻石下载大全 刀塔传奇破解版无限钻石下载大全
洛克王国正式正版手游下载安装大全 洛克王国正式正版手游下载安装大全
思美人手游下载专区 思美人手游下载专区
好玩的阿拉德之怒游戏下载合集 好玩的阿拉德之怒游戏下载合集
不思议迷宫手游下载合集 不思议迷宫手游下载合集
百宝袋汉化组游戏最新合集 百宝袋汉化组游戏最新合集
jsk游戏合集30款游戏大全 jsk游戏合集30款游戏大全
宾果消消消原版下载大全 宾果消消消原版下载大全
  • 日榜
  • 周榜
  • 月榜
热门教程
更多
  • 游戏攻略
  • 安卓教程
  • 苹果教程
  • 电脑教程