大语言模型与AGI碎片化思考：小提示大力量

阅读提示：

这篇系列文章，记录了过去一年里，围绕以LLM为代表的AIGC浪潮，在学术界和产业界之间碰撞出的一些碎片化思考。它们最终沉淀下来，促成了不久前那篇10万字长文——《融合RL与LLM思想，探寻世界模型以迈向AGI》。可以说，那篇长文里的很多内容，正是源于这些看似跳跃、甚至有些“玄幻”的step by step探索。正是这些碎片化的历程，最终推动了那篇在阅读上颇有挑战性文章的落地。

因此，这个系列将以笔记的形式，重新回顾和审视去年的那些思考与探索。一方面，是希望能修正和迭代自己当时的观点；另一方面，也想为那篇长文提供一份阅读的补充参考，在对应的内容处标注出关联的“指针”。所以，这更像是一次复盘式的旅程。

在形式上，由于当时的想法是严格按时间线记录的，难免主题割裂、内容零散。我会尽量保持时间顺序，对部分内容进行合并与整合，但核心观点将原样保留。

这里必须特别强调一句：因为要忠实于当时的思考，所以文中只会修正笔误和错别字。这意味着，一年前的想法与现在的认知可能会有巨大差异，其中不乏不成熟甚至错误的观点。千万不要被我当时片面的视角所误导。更多的，是想抛砖引玉，和大家一起探讨过去技术演进中存在的关键问题。当然，如果能引來你对那篇长文的建设性意见，那就再好不过了。

最后的最后，为了不让笔记显得干巴巴，每篇内容里会配上一些过去的生活照片——有吃喝玩乐、有学术美图、也有搞笑的瞬间。

「2023年02月21日 · LLM给我们带来的Prompt世界」

背景提要 ↓

把时间拨回到大概一年零三个月前，那是ChatGPT刚刚面向公众开放服务的第五个月。这五个月里，模型强大的生成能力带来的冲击和惊喜一波接一波。但对于长期深耕这个领域的研究者或从业者而言，更核心的冲击在于，他们的工作方式——无论是做AI算法、工程化还是产品设计——都在被悄然重塑。其中，有一个与LLM绑定的特殊技能变得至关重要：prompt。

今天，prompt技术已经成了围绕大语言模型（LLM）的核心工具之一。无论是角色扮演、长上下文理解、COT或各类思维推理模式，还是当下火热的RAG和Agent框架，背后都能看到prompt的影子。

回到一年多前，ChatGPT刚发布不久，整个NLP领域在惊讶于其生成能力之余，有一个概念也像闪电一样击中了大家——被“prompt”到了。这个词背后，串联起了Transformer、自回归AR、Tokenize、Alignment，乃至Scaling Law等一系列关键思想。

既然如此，不妨就以“prompt”为引子，来聊聊一年多以前，关于prompt的那些思考和猜想。

再次提醒：由于时间跨度长，且为了记录原汁原味的思考，文中难免存在不成熟、片面、甚至表述不清的地方。但即便如此，依然相信这些字里行间，能让大家挖掘出一些对当下和未来有价值的“prompt”。

ps：大家也可以对照《融合RL与LLM思想，探寻世界模型以迈向AGI》这篇文章的上篇结尾与下篇开头部分，看我如何从prompt思想出发进行论述。

记录正文 ↓

挺突然的一个想法：

关于prompt，它远不只是语义层面上的指令（尽管指令本身就蕴含着“小提示，大内涵”的特点）。它更像是一种强语义内涵与知识表征层面的增强，是一种适配模型参数化Scale-out的能力增强。换句话说，这是一种在某种“暴力美学”下的能力外扩。

想法来源：

本质上，prompt的表达形式是多样的。我们可以把prompt看作是：一种灵感类prompt，一种知识图prompt，一种研究模式prompt……

从另一个角度看，它甚至可以是一种领域的prompt，一种语法的prompt，一种风格的prompt，一种形式的prompt，一种思维的prompt，一种模式的prompt，一种数学的prompt，一种物理的prompt……

有趣的是，prompt与fine-tune这两种作用于模型的方式，在内涵上似乎分属两种路径：一种是Scale-out（向外扩展），一种是Scale-up（向上增强）。

★ 来自模型网络中间隐层语义空间的灵感：

① GPT能否将prompt自然而熟练地运用于科研洞察？比如，它能否通过prompt捕捉到某个领域未被发现的范式？

② 中间隐层那种语义交织下的“模糊性”，是否意味着GPT范式更适合输出感性、创意、创新、洞察类的内容，而非明确判别的机械性任务？

③ 在科研洞察场景下，可能有两个适配前提：一是模型输入侧必须是开放领域；二是输出侧的多样化——这种多样化并非指简单的文本长度，而是容纳了真实世界中多样化的语义空间表征。同时，上述的“模糊性”需要重新思考。它可能更侧重于任务角度的聚焦性。比如，GPT在知识抽取任务上效果不佳，就与模糊性有关。

再延伸一下：这种模糊性也体现为任务输出随容纳形式的概率容错度。比如，生成一个字或词，其错误率模糊性很高；但知识抽取的模糊性则很低。所以，GPT这种范式天然输出并包容了这种模糊性，并能通过Tokenize进行化解。这种模糊性可能也体现在训练阶段——大模型训练时，像NER这类固定模式的下游任务（或信息增益新模式）没有被充分涉及。这反映出，当新任务模式作为下游任务时，fine-tune会更聚焦。说到底，问题可能还是出在训练数据和样本上……（毕竟翻译也是一种特殊模式，效果就还行）。

④ 接上，GPT生成模式与NER判别模式的区别在于：GPT的任务模式是随机散发的（重点可能在Tokenize上？），而NER是固定模式。虽然两者的语义空间尺度可能一致，但模型在推理过程中，因为任务模式不同，会产生巨大的信息变换路径差异。

⑤ 在预训练阶段，任务本身可能会为下游任务带来一些语义空间上的信息增益（拟合），但终究比不上fine-tune在特定任务模式下的精准效果。

2023年2月25日 补充思考：

可能NER这样的知识抽取任务，本质上更偏向于对某一领域具象化实体进行概念化识别的抽象模式。在这种介于具象与抽象的狭窄世界里，很难构造出合适的训练语料。即便是类GPT-LLM在预训练阶段，在整体模型结构的数学变换任务收敛方向上，也很难在输出隐层自然形成很好的预测效果。所以需要fine-tune——fine-tune的本质，就是拟合这类抽象任务的复杂程度。

结合一周前的思考，关于prompt和fine-tune这两种作用于模型过程的等价性或等效性：

① 模型神经网络在信号激活与传播过程中的数学变换等价。

在纯数学维度上，一种是Scale-out（prompt），一种是Scale-up（fine-tune）。prompt是从输入侧驱动信号激活通路，随着模型通用性与prompt多样性的增强，这是一种向外扩展的激活变换模式；而fine-tune是由参数主导来加权激活路径，是传统下游任务的升级版，更倾向于领域限定任务的模式识别。随着领域模式深化，复杂性提升，这是一种向上增强的激活变换模式。但本质上，两者都是通过模型网络神经元信号激活所映射的数学变换来进行预测。

② 不同任务类型及对应模型结构变换上的等价。

这里需要分开看：by任务（参考0225部分）和by模型结构。在模型结构层面：两种范式的等效性来自于输入和输出侧本质的相同，模型结构的数学变换本质也相同。详细解释就是：对于不同的输入数据，模型会依据自身的结构和参数进行变换调整。重要的是，这种变换策略会呈现出多样性和类似生物学的“多功能性”。比如类GPT大模型在推理过程中，由于input不同，会产生一种类似MoE模型结构的数学变换；而传统的类NER小模型，模型结构与LLM差异巨大，也会依据自身参数结构进行推理变换，只是变换复杂度小很多（不会产生类似fine-tune那样大的幅度）。而LLM内部由于使用了Attention、MoE或Adapt机制，这种变换的幅度已经达到了fine-tune的级别。

再补充一点：

【一切的秘密可能都隐含在模型结构中】。0225补充思考提到的任务维度问题，可能正是因为在模型输出隐层侧，像NER这种任务的输出结构属于“小结构变化”，所以才需要fine-tune去弥补，否则无法达到fine-tune那种幅度的效果。从这里可以看出，模型结构所蕴含的数学、任务与数据范畴，是一个极其丰富的内涵空间。

回过头来看，这些本质的理解和观点，能不能在我们规划更复杂AI任务训练与建模时，提供一些正确的指引？甚至，在更深刻的层面，帮助我们理解LLM为何如此惊人，并为围绕LLM的工程应用开发，乃至能力提升，找到一些新思路？

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大语言模型与AGI碎片化思考：小提示大力量要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题