Transformer八周年 Attention论文被引破18万封神

Transformer，八岁了。

那篇开启生成式AI革命的论文《Attention Is All You Need》，已经走过了八个年头。

ChatGPT、Gemini、Claude这些今天耳熟能详的名字，背后都有它的影子。更关键的是，它把整个人类实实在在地推进了生成式AI时代。或许很少有人注意到，人类和生成式AI命运交织的那个瞬间，是2017年6月12日，一个周一的下午，17点57分。

Transformer的影响力，至今仍在持续发酵。

到今天，这篇论文的引用次数已经飙到了184376次。而就在两年前，它六周岁的时候，这个数字还是77926。仅仅过了两年，翻了多少倍？不止两倍，是两倍还多。

不少网友都在社交媒体上为Transformer庆生，送上自己的祝福。

不过，和所有传奇故事的起点类似，当年这篇论文，压根没获得多少「Attention」。

一篇未获人们「Attention」的传奇论文

Transformer在2017年的NeurIPS上发布，那是全球最顶级的AI会议之一。

但它连Oral演讲都没捞着，更别提获奖了。

上面这张图，是2017年NeurIPS的获奖论文列表。

回过头看，谷歌当时选择公开这篇文章的举动，确实算得上「功德无量」。有网友甚至感慨，谷歌做事的方式很大方：允许任何人完全免费使用，连许可证授权都不要。

但事情总在变化。随着生成式AI进入白热化竞争，各大巨头蜂拥而入，谷歌也开始慢慢回收当初的「善意」。比如，谷歌DeepMind就要求所有科研人员的生成式AI相关论文，必须设定6个月的禁发期。

DeepMind的CEO Hassabis的态度很明确：不接受？那就辞职。这里是公司，不是大学校园。想要大学那样的环境？请你离开。

不仅如此，创新成果不准发，连Gemini的短板也不能提。

或许谷歌自己也没想到，当初这篇论文，会如此深远地影响人类历史的走向。

人人都爱Transformer

作为一篇正经的机器学习论文，《Attention Is All You Need》自发布以来，被无数人解读过。不论你是不是干这行的，人们都迫切地想知道：如今这些强大AI的能力，究竟从何而来。

国内外，「教你读懂」和「带你学会」这篇论文的视频，播放量一直很高。直到今天，类似的内容依然热度不减。

科技圈的顶级KOL Lex Fridman和AI界的顶级科学家Andrej Karpathy，都曾公开表示：Transformer是AI世界里「最棒的想法」，没有之一。

甚至连「XXX Is All You Need」这个句式，都成了严肃学界乐此不疲的玩梗素材。论文标题本身就在致敬披头士的名曲《All You Need Is Love》，简洁有力，迅速被AI学界和网络社区广泛引用和调侃，衍生出各种各样的版本，形成了一套互联网meme式的幽默结构。

这种标题的成功，还引发了一连串同样玩梗的论文出现。有研究人员甚至专门制作了一张图，来梳理所有这些变体。

Transformer后时代：AI八年狂飙

自Transformer诞生这八年来，研究者和工程师们围绕这个架构做了大量的探索和改进。这个历程，既包括模型本身的架构优化，也包括模型规模的指数级扩张，还有向多模态领域的延伸融合。

Transformer架构天生适合并行计算，这就让研究人员可以放心大胆地把模型参数越堆越高，去验证那个经典命题：大模型是不是真的更聪明？

事实证明，参数和数据规模的扩张，确实带来了质的飞跃。从最初论文里的亿级参数，到2018年的BERT（3.4亿参数）和GPT-2（15亿参数），再到2020年的GPT-3（1750亿参数），模型大小的增长完全是指数级的。OpenAI等机构揭示的Scaling Law（规模定律）非常清晰：模型越大，数据越多，性能就越好，而且还会涌现出小模型根本不具备的新能力。

随着规模扩张，Transformer模型展现出了惊人的零样本和小样本学习能力。这让它真正成为了基础模型（Foundation Model）——一经训练，就能泛化支持大量下游应用。可以说，Transformer奠定了整个生成式AI大厦的地基，毫不为过。

不过，所有传奇故事似乎都很难有一个全员Happy Ending的结局。当年联手打造出谷歌最强Transformer的那批「变形金刚们」，如今也早已分道扬镳。

八年前一篇不起眼的论文，彻底开启了人类的生成式AI时代。这个当时被忽视的小不点，如今已是巨无霸。它的故事还远没有结束。AI依然在Transformer架构的轨道上狂飙突进。

Transformer的影响力还能持续多久？也许只有等到AGI真正实现的那一天，才能回答这个问题。但无论未来AI技术怎么演变，Transformer已经在历史上留下了永久且深刻的印记。