LLM应用开发探秘第二篇实战解析

本文旨在帮助缺乏大模型开发背景的工程师与技术爱好者，在阅读中顺畅掌握大语言模型（LLM）应用开发的核心理论与主流工具。我们将从最基础的概念切入，不刻意追求学院派的严谨与完备，而是聚焦直觉与本质。通过调研整理与深度消化，助力读者快速构建LLM技术全景认知。基于此基础，您即可沿感兴趣的方向深入探索。当然，如有不准确或疏漏之处，欢迎留言指正。内容体系完整、信息丰富，将分多次连载呈现。

第一部分 基础概念
1. 机器学习典型场景分类
2. 机器学习类型（与大语言模型相关）
3. 深度学习的崛起路径
4. 基础模型与预训练范式

第二部分 应用挑战
1. 问题定义与基本思路
2. 基本流程与相关技术
（1）Embedding与Tokenization
（2）向量数据库
（3）Fine-tune（微调）
（4）模型部署与推理
（5）Prompt（提示词）
（6）编排与集成
（7）预训练
3. 场景案例剖析
4. 常用参考资源

第二部分 应用挑战

1. 问题定义与基本思路

在大模型应用场景下，核心工作始终围绕一个关键问题展开：如何让大模型高效完成特定领域场景的实际任务，并实现有效干预与效果提升？

影响大模型能力与效果的因素主要有两个：

• 模型（内在）——可将模型视为知识与能力的融合体。经过微调的模型既包含学到的知识、逻辑，也具备执行具体任务的能力。但它存在明显短板：模型体积较大，训练与更新需要大量时间与算力成本。这导致模型知识不够实时、变更困难、行为黑盒难以控制、能力扩展难度高。
• 提示词（Prompt，外在）——可理解为指令与知识的混合体。类比AI 1.0时代的判别模型，提示词相当于特征输入。因此AI 2.0将特征工程（Feature Engineering）升级为提示词工程（Prompt Engineering）。特征工程决定了模型的上限，可见提示词的运用至关重要。提示词可向大模型直接表达需求（zero-shot），可提供示例说明需求（few-shot），可逐步引导模型思考（chain of thought），还可提供背景信息（context）帮助模型理解上下文与历史。因此提示词灵活性强、透明性好，能以轻量级方式完成看似神奇的任务。但它也有局限：受限于大模型性能与成本，提示词长度有限；每次请求需携带大量信息维持状态，性能上存在一定开销。

那么针对这两个因素，我们能采取哪些干预手段呢？

• 针对模型本身的优化：Fine-tune（微调）
  
  图@jerryjliu0
  微调直接影响模型的权重参数。
• 针对输入的优化：In-context Learning（上下文学习），即Prompt Learning（提示词学习）
  图@jerryjliu0

两者核心对比：

由此可见，提示词在应用层面优势突出：成本低、灵活性强、门槛低。随着token数量增长以及prompt压缩方案不断成熟，提示词层面的工程化优化将成为未来方案的重中之重。

工程改进方向

如前述分析，当前提示词中需包含需求、背景、示例、历史等大量内容。以常见的检索场景为例，如何让大模型在海量文档中总结回答？这不仅受限于token长度，还会导致响应时间过长，无法满足用户期望。在无法大幅提升token数量与大模型推理能力的制约下，如何破局？

图@jerryjliu0

一种常用策略是：对prompt进行压缩提炼——从外部引入一个检索流程，增加粗筛召回的中间步骤，缩小候选范围。这能显著缓解上述问题。此外，该步骤还带来额外收益：为大模型划定发挥范围，使其基于更可靠的知识内容进行总结推理，一定程度上避免黑盒条件下的“自说自话”，提升输出可信度。另一方面，增加检索流程后，可对提示词进行检索增强（Retrieval Augmentation），例如对接知识图谱、业务知识库，从而显著提升输出质量。

总结而言，增加检索流程具备三大作用：精炼prompt、提升可信度、优化模型输出质量。

检索方式：为何优先选择向量检索

当前业界主流做法是采用向量检索实现检索增强。许多同学疑惑：为什么一定要用向量数据库？传统的ElasticSearch等文本检索方案是否可行？

从本质上看，并非不可行——大模型外围需要一个检索与存储组件来完成检索过程，只要满足这一要求，任何方案均可采纳。那么为何业界不约而同选择向量检索？

答案直截了当：为了获得更好的检索效果、提高相关性。万物皆可Embedding，通过Embedding可将问题从原始维度映射到另一个维度，在新维度中更准确地表达内容间的关系。这个过程类似于信号处理——将时域信号通过傅里叶变换转换到频域处理，能极大降低复杂度。从下图可直观看出向量搜索与传统搜索的差异：向量搜索基于内容Embedding，在编码阶段就考虑了语义相关性，检索时无需简单文本匹配，而是基于语义进行召回，自然取得更优效果。

图@jerryjliu0

从这个角度而言，选择向量检索并非大模型的强制要求，而是对召回效果持续追求以及向量检索性能不断演进的必然结果。因此可以预见，未来搜索服务向语义检索发展是明确趋势。

小结

围绕上述内在模型与外在提示词这两个LLM应用的核心组成部分，相关核心技术需要熟练掌握。在实际开发中，通常也先从简单方案入手，只有当简单方法无法满足需求时，才转向更复杂的干预方式。

本节介绍了当前主流检索增强型LLM应用的产生背景与基本实现思路，有助于构建整体宏观认知。下一节将对LLM应用开发中涉及的具体技术展开深入讨论，包括：

1. Embedding与Tokenization
2. 向量数据库
3. Fine-tune（微调）
4. Prompt（提示词）
5. 部署与推理
6. 编排与集成
7. 预训练

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：LLM应用开发探秘第二篇实战解析要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题