每天学点AI五个阶段了解大模型发展史

要理解自然语言处理（NLP）的发展脉络，最好的方式就是顺着时间线往回看，看看这门技术是如何一步步从“咿呀学语”进化到今天的“博古通今”。从最初的规则驱动，到后来的统计学习，再到如今的深度学习和大模型，每一步都踩在了时代的节点上。

20世纪50年代

那个年代，NLP还是个刚学步的小孩，靠的是一套由语言学专家手工编写的规则和词典。这些规则事无巨细地规定了语法、语义和句法结构，就像一个老派的语文老师，拿着一本厚厚的教案，告诉计算机每种句式该怎么分析。

比如，一个简单的陈述句会被严格标记为“主语 + 谓语 + 宾语”的结构。所有句子都得按这套规矩来。这就好比小时候学说话，需要一个字一个字地学，学完单词再学语法，过程极其繁琐，但却是那条路线上最朴实的方法。

20世纪70年代

随着计算能力的提升和数据量的积累，事情开始起变化。到了70年代，NLP开始从“规则派”转向“统计派”。研究人员不再试图把所有规则都写死，而是把大量文本数据喂给统计模型，让模型自己去捕捉语言模式。

这就像你长大了，不再死记硬背语法书，而是通过听身边人说话来学习新词汇和表达。统计方法特别看重词语之间的共现关系，比如“苹果”和“吃”同时出现的概率高，那它们之间很可能就有关系。模型通过这种概率推断来完成各种语言处理任务。不过，这个阶段有一个局限——对于当时的模型来说，每个单词仍然是独立的，彼此之间没什么“交情”。

2013年

转机发生在2013年。这一年，基于嵌入（embedding）的方法被发明出来，这可以说是NLP领域的一个“新大陆”。它能将词语、短语甚至句子映射到高维的连续向量空间中。这些向量有个神奇的本领——能捕捉词语之间的语义关系。

怎么理解呢？就好比我们用表情符号（