变分掩码扩散模型:优化并发标记预测的依赖关系处理

变分掩码扩散(VMD)模型通过引入潜在变量,成功解决了标准掩码扩散在并发标记预测中无法有效捕捉依赖关系的问题。在合成数据、数独谜题和文本数据上的实验都证明了VMD的有效性,特别是在标记间依赖关系重要的场景中。
1. 研究背景与问题定义
基于扩散的大型语言模型(DLLMs)作为自回归模型(ARMs)的重要扩展,正在成为生成式AI领域的重要创新方向。与传统ARMs按预定顺序逐一生成标记的方式不同,DLLMs提供了并发标记生成、更高输出多样性、增强全局一致性以及更好的生成文本可控性等优势。近期的突破性模型如LLaDA、Mercury和Gemini Diffusion都凸显了DLLMs的潜力。
然而,当前的掩码扩散模型(MDM)存在一个关键限制:无法有效捕捉并发预测的标记之间的依赖关系。这导致在标记间依赖性较强的推理任务中性能下降。例如,在预测"A poker hand that consists of two English words is: a a"的后续两个词时,合适的预测应为"high card"、"two pair"、"full house"或"straight flush"。这些词对之间存在强依赖关系,但MDM在并发预测时会独立采样,无法考虑这种依赖性,从而可能产生不合理的组合。
2. 变分掩码扩散(VMD)模型
为解决上述问题,研究者提出了变分掩码扩散(Variational Masked Diffusion, VMD)框架,通过引入潜在变量来建模并发预测期间的联合标记分布。VMD的核心思想是:通过潜在变量模型捕捉任意联合分布,而不仅仅是可因式分解的分布。
 图片
图片
2.1 基本变分公式
VMD的基本公式为:
pθ(x0i|xt) = ∫pθ(x0i|xt,z)p(z)dz
其中z是全局潜在变量,不依赖于标记位置i。这使得模型能够在标记之间建立联合分布。条件于潜在变量z,标记可以独立采样,但边缘化潜在变量后,能够从正确的联合分布中获得样本。
训练目标函数(NELBO)为:
-log pθ(x0) ≤ ∫(0→1) (1/t)                     
免责声明
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
同类文章
谷歌AI转型实绩:传统业务焕新,为互联网企业带来增长新路径
谷歌母公司Alphabet近日公布了最新季度财报,总营收达1023 46亿美元,同比增长16%,超出华尔街预期超20亿美元。分业务线来看,各板块表现均优于市场预期,摊薄每股收益达2 87美元,盘后股
马斯克“硬刚”维基百科:人类知识运营的深层矛盾解析
埃隆·马斯克近期对维基百科发起多轮公开批评,并推出由人工智能驱动的在线百科项目GrokiPedia,引发两大知识平台的隔空交锋。面对科技巨头的挑战,维基百科在最新募捐公告中以独特方式作出回应,强调其
黄仁勋、周鸿祎共论AI:是伙伴非工具,推动经济与个体升级
在近期科技界关于人工智能(AI)发展的讨论中,两位科技行业领军人物对AI本质的认知出现了高度契合的观点。英伟达创始人黄仁勋与360集团创始人周鸿祎不约而同地提出,AI不应被简单定义为技术工具,而应被
谷歌CEO:全力押注生成式AI,Gemini下载量突破65亿次
在最新公布的季度财报中,科技巨头Alphabet交出了一份亮眼成绩单,公司第三季度营收成功突破千亿美元大关。在随后召开的财报电话会议上,首席执行官桑达尔·皮查伊着重阐述了公司对生成式人工智能的战略布
环球音乐与Udio和解:版权纠纷落幕,2026年推AI音乐平台
环球音乐集团(UMG)与人工智能音乐创作平台Udio近日宣布达成一项具有开创性的战略合作协议,这一举措在音乐行业引发广泛关注。此前,双方曾因版权问题陷入法律纠纷,此次合作不仅化解了矛盾,更开启了音乐
热门教程
更多- 游戏攻略
- 安卓教程
- 苹果教程
- 电脑教程
 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                 
												
                                                








 
								 
								 
								 
								 
								 
								 
								 
								 
								