苹果FS-DFM模型实现128倍提速，AI长文写作告别漫长等待

10月14日，科技媒体9to5Mac发布报道称，苹果公司推出全新FS-DFM扩散模型，仅需8次快速迭代就能生成媲美传统模型上千轮迭代的高质量文本，生成速度最高可提升128倍。

苹果与俄亥俄州立大学研究团队近日联合发表学术论文，提出名为“少步离散流匹配”（Few-Step Discrete Flow-Matching，简称FS-DFM）的创新语言模型。

该模型专门针对长文本生成效率进行优化，通过8轮精炼迭代即可输出高质量的长篇内容，其生成效果与传统扩散模型经过上千步迭代的结果不相上下。

在深入了解FS-DFM之前，需要明确两种主流语言模型的工作原理：

以ChatGPT为代表的自回归模型采用串行生成方式，依照前后顺序逐个生成文字单元，每个新单元的生成都依赖于之前的所有内容。

而扩散模型则采用并行生成策略，同时生成多个文字单元，通过多轮迭代不断优化，最终形成完整回复。

FS-DFM作为扩散模型的改进版本，进一步简化了迭代流程，致力于以最少的步骤直接产生最终文本。据博文介绍，苹果研究团队为实现这一目标，设计了一套精巧的三阶段方案：

首先，模型经过特殊训练，能够灵活适应不同次数的精炼迭代。

其次，研究人员引入“教师”模型进行指导，确保模型在每次迭代中都能实现大幅且准确的内容更新，同时避免过度修正的问题。

最后，团队还优化了迭代机制本身，使模型能够以更少、更稳定的步骤生成最终文本。

在性能测试中，FS-DFM还与拥有70亿参数的Dream模型和80亿参数的LLaDA模型进行了对比。实验数据表明，即使参数规模仅为1.7亿到17亿的FS-DFM变体，在困惑度和熵值两项关键指标上都表现更优——困惑度衡量文本的准确性与流畅度，数值越低越好；熵值反映模型选词的置信程度，过低会导致文本单调重复，过高则可能产生无意义内容。

免责声明

游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。

同类文章