大模型技术总结与展望（上篇）

2024年，人工智能正式迈入全新发展阶段。大模型领域技术成果层出不穷，进展令人目不暇接。值此岁末之际，我们系统梳理这一年的技术演进，既是对过去一年的全面回顾，也是对未来方向的深度预判。

1 2024年大模型技术发展现状与趋势

1.1 基础模型能力评测与突破

缩放定律在2024年依然持续生效。全球大模型呈现井喷式发展——语言、视觉、声音、多模态等各方向，无一不遵循这一法则快速迭代。

语言模型已积累一定基础能力，再取得显著增长变得愈发困难，目前正进入深水区。业界焦点正向多模态大模型转移，后者正在加速实现突破。

根据智源研究院发布的国内外大模型评测报告，具体表现如下：

• 语言模型：在一般中文场景的开放式问答或生成任务上，能力已趋于饱和稳定；但在复杂场景任务中，国内头部语言模型与国际一流水平仍存在明显差距。
• 视觉语言模型：开源模型架构趋同（语言塔+视觉塔），但表现不一。优秀开源模型在图文理解任务上正逐步缩小与头部闭源模型的差距，而长尾视觉知识、文字识别及复杂图文数据分析能力仍有提升空间。
• 文生图模型：上半年普遍无法生成正确的中文文字，下半年有明显改善；但复杂场景中的人物变形依然常见。对于常识或知识性推理任务，小于3的数量关系任务表现有所提升，大于3的数量关系仍无法处理。涉及中国文化和古诗词理解的场景，对模型构成不小的挑战。
• 文生视频模型：画质进一步提升，动态性更强，镜头语言更丰富，转场更流畅；但普遍存在大幅度动作变形、无法理解物理规律、物体消失、闪现、穿模等问题。
• 语音模型：得益于文本大模型的进步，能力提升巨大，覆盖面更全；但在具体任务上与专家模型仍有差距。整体来看，性能好、通用能力强的开源语音语言模型偏少。
• 综合评测：智源研究院联合海淀区教师进修学校新编了K12全学段、多学科试卷，考察大模型与人类学生的能力差异，主观题由海淀教师亲自评卷。本次K12学科测验综合得分比半年前提升12.86%，但仍与海淀学生平均水平存在差距；在英语和历史文科试题上，已有模型超越了人类考生的平均分；模型普遍存在“文强理弱”的偏科现象。

1.2 模型算法核心进展

2024年全球大模型能力飞跃，核心原因之一是算法在大浪淘沙中得到持续优化。

上下文长度扩展：当前国内外主流大模型支持的上下文长度普遍在128K以上。

上下文长度扩展主要得益于以下算法：位置跳跃训练相关算法（如PoSE、CREAM）、渐进式训练及优化算法（如LongRoPE）、注意力机制及缓存优化算法（稀疏注意力、基于分页的KV缓存注意力）、插值及缩放法则相关算法（NTK-aware插值、YaRN插值）等。

MoE混合专家架构：MoE架构集成了多个专家模型，每个专家可针对不同数据分布和任务类型专门训练，能够处理各种复杂任务和多模态任务。例如，遇到复杂自然语言处理任务时，不同专家可分别处理语法、语义、情感分析等不同方面。每个专家专注于特定领域，能更深入理解数据特征，从而在各自任务上提供更准确的结果。整合多个专家的输出，整体精度和准确性得到提升。MoE架构已成为当前大模型的重要演进趋势。

强化学习将思维链内化进模型：9月OpenAI发布的o1模型在后训练阶段采用强化学习与思维链技术，不仅在“慢思考”后回答复杂问题时表现优异（尤其STEM领域推理能力显著增强），还具备了自我反思与错误修正能力。这使得自博弈强化学习有望成为提升语言大模型逻辑推理能力的技术新范式。具体表现如下：

• 强大的问题分解能力：可将复杂问题拆解为子问题分别解决，比如处理复杂的数学应用题时，先分解出各个条件和关系，再逐个求解，显著提高解题效率。
• 策略多样性：能够尝试不同解决策略，找到最优解。例如在编程问题中，尝试不同算法和逻辑结构，选择最佳方案，提升答案准确性。强化学习机制引导模型通过不断尝试不同推理路径来构建思维链，模型根据奖励信号调整生成思维链的策略，使其更符合问题的逻辑和要求。
• 自我纠错机制：具备识别和纠正自身错误的能力，增强答案可靠性。例如在文本生成中，若出现语法或逻辑错误，模型可自行检测并改正。思维链中的每一步推理结果都可作为强化学习的反馈信息，帮助模型更好理解问题和评估当前推理路径的优劣，从而进一步优化策略。

视觉Transformer模型（ViT）：ViT将Transformer架构应用于视觉识别任务，把图像视为一系列“视觉单词”或Token，通过自注意力机制捕捉图像块之间的全局依赖关系，实现图像特征提取和分类。业界主要从模型结构和下游任务两方面改进ViT。模型架构改进方面，微软的Swin Transformer、Meta的MAE、DeiT、SAM、DINO2、苏黎世联邦理工学院的PVT、McGill大学的CvT等，从多尺度、知识蒸馏、自编码等方向改进ViT网络结构，在图像分类、目标检测与分割、图像检索、深度估计等传统视觉任务上取得突破。

视觉模型未来的趋势是：

• 跨模态融合：与文本、语音等其他模态数据融合将更加深入，实现对多源信息的综合处理和理解，比如在智能驾驶中结合车辆传感器数据、语音指令等，更全面感知和理解驾驶环境。
• 模型压缩与加速：研发更有效的压缩和加速方法，使其能在资源受限设备上高效运行，例如在移动设备、边缘计算设备上实现实时视觉任务。
• 自监督与弱监督学习：借助模型的灵活性与泛化能力，减少对大量标注数据的依赖，提升在小样本、无标签或噪声环境下的学习效能。
• 与硬件协同发展：与新型AI芯片深度融合，催生高效、低耗的异构计算架构，推动在边缘设备上的广泛应用。

扩散模型：扩散模型基于马尔科夫链的扩散过程，逐步从噪声中重构出所需数据，广泛应用于高质量图像与视频的生成、编辑与修复等场景。目前头部人工智能厂商聚焦通过扩散模型持续提升图像生成能力，包括Stability AI的Stable Diffusion、OpenAI的DALL·E、谷歌的Imagen等。

扩散模型未来发展的趋势是：

• 不断提高性能，生成样本质量更高、细节更丰富、更接近真实世界，能更好满足各种复杂应用场景需求。
• 生成可控性增强，开发更先进的控制方法，使用户能更精确控制生成结果的内容、风格、结构等，满足不同场景下的多样化需求，提高模型实用性和可用性。

语言塔+视觉塔的多模态架构：语言塔和视觉塔分别负责处理文本和图像信息，通过特定连接方式或交互机制协同工作，从而更有效完成图文理解相关任务，如视觉问答、图像字幕生成等。语言塔对输入文本进行词法、句法分析，转换为向量表示，提取文本特征；视觉塔对图像进行卷积等操作，提取颜色、纹理、形状等特征。通过跨模态注意力机制等方法，让语言塔和视觉塔的特征进行交互融合，使模型能在不同模态信息间建立关联。基于融合后的特征，模型进行联合理解和生成任务。

多模态双塔模型未来发展的趋势是：双塔融合方式将更加复杂和高效，不仅在高层特征上进行融合，还会在底层特征等多个层次上进行深度交互，以更好挖掘图文之间的语义关联。

1.3 训练数据工程革新

作为大模型学习、训练和验证的“燃料”，大规模、高质量、多模态数据集对于多模态大模型能力提升愈加重要。面向大模型的新一代数据工程已成为核心技术手段。

依据信通院报告，新一代数据工程有以下特点：

数据预处理：数据预处理技术正朝向多模态融合、智能化、实时性全面进化：

• 多模态数据融合技术正在发展，以实现不同数据类型（文本、图像、音频、视频）的有效整合，目标构建统一的多模态词元序列空间，支持模型对复杂信息的理解和生成。例如OpenAI的GPT-4o模型通过统一对齐不同模态的词元向量，将响应时间缩短至320毫秒。
• 数据预处理的自动化和智能化水平正在提升，未来将更多依赖AI技术优化预处理步骤，减少人工干预，提高效率和准确性，例如自动识别数据模式、智能选择预处理策略。
• 实时数据处理能力正在增强，以应对大规模实时数据流，重点在于低延迟处理技术，如流式计算、实时分析和即时反馈机制。
• 边缘计算的应用趋势日益明显，以应对大数据量的增长，通过分布式架构提高处理效率和响应速度，例如使用Apache Spark等框架在集群中并行处理数据。

数据标注：数据标注逐渐向专业化、智能化、多模态方向发展。

• 自动化和智能化标注工具的创新成为关注点，这些工具通过算法初步标注，再由人工校验和修正，提高效率，降低成本。
• 多模态数据标注技术融合成为新趋势，结合不同模态（图像、声音、文本、视频）的数据进行联合标注，满足更复杂场景需求。
• 持续学习和反馈机制的引入，促进数据标注质量和效率双重提升。通过将标注数据反馈给AI模型，不断优化模型性能，形成标注-训练-反馈的闭环，不仅能提升模型精度，还能指导标注策略的动态调整。

数据合成：有机构预测到2026年，大型语言模型的训练就将耗尽互联网上的可用文本数据，未来需要借助合成数据解决数据瓶颈。根据Gartner预测，到2024年，60%用于AI开发和分析的数据将是合成数据；到2030年，合成数据将成为AI模型所使用数据的主要来源。

当前合成数据技术创新主要呈现以下趋势：

• 一是合成数据模型走向深度进化。传统方法多依赖统计学和机器学习基本原理，当前聚焦于深度学习算法模型，特别是生成对抗网络（GANs）的广泛应用。GANs通过生成器和判别器的博弈过程，实现了前所未有的数据真实度与多样性，如StyleGAN、BigGAN等高级变种网络技术，极大拓宽了数据合成的应用边界。
• 二是多模态合成能力不断突破。多模态合成技术通过整合不同模态的特征表示，能同时生成声音、视频、3D模型等多种类型数据，不仅丰富了合成数据的维度，也促进了多模态理解和生成任务的进步，为复杂场景应用（如自动驾驶、虚拟现实等）提供重要技术支撑。
• 三是强化学习与合成数据的融合，模拟复杂环境下的交互数据，帮助智能体在安全、成本效益高的虚拟环境中学习策略。这种结合解决了现实世界数据获取难、风险高等问题，极大提升了智能体的学习效率与适应能力，尤其在自动驾驶、机器人导航等领域展现出巨大潜力。
• 四是隐私保护与合规性技术的发展，提供在不暴露敏感信息前提下生成高质量数据集的解决方案。差分隐私、联邦学习与合成数据的结合，使得在不暴露原始敏感信息的情况下也能生成可用于训练的高质量数据集，保障了用户隐私，也为金融机构、医疗保健等行业利用AI技术创造了条件。

质量评估：数据质量评估和模型反馈机制共同推动数据质量不断提升，具体表现如下：

• 质量评估与反馈机制深度融合。数据质量评估引入客观的质量评估指标和模型反馈机制，使数据使用者可以评价数据集的实际综合表现，并反馈给数据提供者以改进数据采集和处理流程。例如OpenAI推出了CriticGPT，旨在帮助人类评估和检测大型语言模型（LLM）生成的代码输出中的错误，CriticGPT通过训练生成自然语言反馈，可评估出代码中的质量问题，在检测自然发生的LLM错误时，其生成的评审比人类评审更受欢迎，准确率高达63%。
• 多模态数据质量评估框架快速发展。针对图像、语音、文本等多种类型数据，设计发展了综合评估模型，确保跨模态数据的一致性和互补性。通过融合计算机视觉、自然语言处理和语音识别技术，实现多维度数据质量的全面评估。
• 偏差与公平性评估成为数据质量评估的重要组成部分。通过算法审计和统计测试，确保训练数据的均衡性和代表性，减少模型输出的不公平性。
• 动态数据质量监控体系逐步完善。利用实时分析和流处理技术连续评估数据质量，即时反馈数据问题，支持快速响应。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型技术总结与展望（上篇）要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题