深度解析ChatGPT语言能力训练的核心原理与方法（上）
大型语言模型展现出突现能力，如复杂推理和知识推理，仅存在于大模型中。思维链提示在GSM8K数学问题上显著超越微调方法，仅需少量示例。知识推理中，大模型可直接利用内部知识，无需外部检索。这推动了从微调小模型到上下文学习的范式转变。
引言：为什么我们需要关注大型语言模型的“突现能力”？
近年来，大型语言模型所展现出的强大能力（例如思维链、便签本）引发了广泛关注，相关研究也日益增多。我们将这类能力统称为大模型的突现能力——这些能力通常仅存在于大尺寸模型中，而在较小模型中难以体现，因此被命名为“突现”。
许多能力令人印象深刻，例如复杂推理、知识推理以及分布外鲁棒性，后续我们将深入探讨。值得注意的是，这些能力与NLP领域数十年来追求的目标高度契合，预示着一个潜在的研究范式转变：从微调小模型转向利用大模型进行上下文学习。
对于先行者而言，范式转变或许显而易见。然而，从科学严谨的角度出发， 我们有必要给出明确而充分的理由，说明为何应当转向大型语言模型——即便这些模型成本高昂、使用复杂且效果未必稳定 。本文将细致审视这些能力的本质，探讨大型语言模型的潜在优势，以及它们在更广泛的NLP/ML任务中的应用价值。
阅读前需知
前提：我们假设读者具备以下知识：
- 预训练、精调、提示（普通从业者应具备的自然语言处理/深度学习能力）
- 思维链提示、便签本（普通从业者可能不太了解，但不影响阅读）
一、什么是“突现能力”？
图片来自于 Wei. et. al. 2022. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models。X轴为模型尺寸。GSM8K是是一个小学水平的数学问题集。
在上述效果图中，我们可以观察模型的表现：
- 当模型尺寸相对较小时，性能提升并不显著
- 当模型规模显著增大时，性能出现明显跃升
这从根本上说明，某些能力可能并不存在于小模型中，而是随着模型规模的扩大而涌现。
我们关注哪些突现能力？
突现能力种类繁多，例如 Wei 等人在 2022年[5] 所梳理的清单。部分能力虽有趣但不在本文讨论范围内，比如last latter concatenation（我们认为这更适合由Python而非语言模型处理），或三位数加法（更适合由计算器完成）。
在本文中，我们主要聚焦于以下几类能力：
- NLP 社区多年来持续关注但尚未充分实现的能力
- 传统 NLP 模型难以企及的能力
- 源自人类语言深层本质的能力
- 可能达到人类智力最高水平的能力
二、突现能力的三个典型例子
许多有趣的能力都可归入上述类别，其中我们重点讨论以下三种典型能力：
- 复杂推理
- 知识推理
- 分布外鲁棒性
接下来逐一详细探讨。
2.1 复杂推理
下面是一个GSM8K数据集中的示例，展示提示词效果显著超过精调：
问题：克莱儿每天早饭都用 3 颗蛋做蛋卷，她 4 周会吃掉多少打鸡蛋？克莱儿每天早饭都用3颗蛋做蛋卷。一周有 7 天。所以她一周会吃 3 * 7 = 21 颗蛋。她4周会吃掉 4 * 21 = 84 颗蛋。一打里面是 12 颗蛋。所以 84 / 12 = 7。答案是7。虽然这道题对于10岁儿童来说轻而易举，但对语言模型却颇具挑战，主要源于数学与语言的混合交织。
GSM8K 最初由 OpenAI 于 2021 年 10 月[6] 提出。当时他们使用第一版GPT3在完整训练集上进行精调，准确率约为 35% 。该结果令作者相当悲观，因为他们观察到了语言模型的缩放规律：模型大小呈指数增长时，性能仅呈线性提升。因此，他们在第 4.1 节中推测：
“175B 模型似乎需要至少额外两个数量级的训练数据才能达到 80% 的求解率。 ”
三个月后，即 2022 年 1 月，Wei 等人[7] 基于 540B PaLM 模型，仅使用8个思维链提示示例便将准确率提升至56.6% （无需将训练集扩大两个数量级）。随后在 2022 年 3 月 ，Wang 等人[8] 基于相同的 540B PaLM 模型，通过多数投票方法将准确率提高到 74.4% 。当前最优结果来自我在 AI2 的工作（Fu et. al. Nov 2022[9]），我们通过使用复杂的思维链在 175B Codex 上实现了 82.9% 的准确率。从上述进展可见，技术进步确实呈现指数级增长。
思维链提示是展示模型能力随规模突现的典型范例：
- 从突现能力来看：尽管无需达到 17500B，但模型规模确实需要大于 100B 才能使思维链的效果优于仅回答提示。因此，这种能力仅存在于大型模型中。
- 从效果来看：思维链提示的性能显著优于之前的精调方法（目前尚无公平对比提示词与微调的工作，但思维链提出时，尽管比较可能存在不公，其效果确实优于精调）。
- 从标注效率来看：思维链提示仅需 8 个示例的注释，而微调需要完整的训练集。
有些读者可能认为模型能做小学数学并不代表什么（从某种意义上说，确实不够酷）。但 GSM8K 仅仅是一个起点，最近的工作已将前沿问题推进到高中[10]、大学[11]，甚至国际数学奥林匹克问题[12]。现在是否更酷了呢？
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：深度解析ChatGPT语言能力训练的核心原理与方法（上）要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点最近留意到一款AI聊天机器人构建工具——Craftman，它的核心思路很有意思：让企业或个人能用自己已有的数据来训练ChatGPT，然后直接嵌入到网站上做智能客服或问答助手。简单来说，就是把通用大模型变成你的专属知识库响应系统。什么是Craftman？Craftman是一个AI聊天机器人构建平台，允
如果告诉你，现在借助AI技术就能一键生成时长16秒、分辨率达1080P的高清视频，并且画面流畅自然、物理规律真实可信，你是不是觉得有些不可思议？事实上，这就是Vidu——由中国生数科技与清华大学联合打造的全球首个长时长、高一致性、高动态性视频大模型。它采用独创的Diffusion与Transform
想象一下，你拥有一个庞大而复杂的知识库，里面堆满了各类文档、PDF文件以及YouTube视频教程。过去想要查找某份资料，往往需要翻遍目录、反复尝试关键词搜索，效率低下令人困扰。如今，借助Hansei这款知识库管理工具，一切变得轻松高效——你只需像与朋友聊天一样，用自然语言提出需求，AI助手就能从你的
Blinkn是基于ChatGPT的智能电商购物助手，具备语义理解、精准产品推荐与比较、多语言支持等功能，可与主流平台无缝集成并个性化定制，提供7×24小时实时客服，高效解决购物疑问，显著减少决策摩擦，提升转化率与用户体验。
- 日榜
- 周榜
- 月榜
热点快看