人工智能大模型技术基础 一文搞懂Token Prompt Embedding Function Calling核心概念

聊大模型开发，有几个核心概念无论如何都无法回避：Token、Prompt、Embedding 和 Function Calling。坦白讲，这四个词汇几乎奠定了所有 AI 应用的底层基础。你可以把它们形象地理解为“超级大脑”的四个关键组件——原材料、指挥棒、理解力和行动力。只有透彻掌握这几个要素，才算真正触及 LLM 的本质。

接下来我们逐一深入解析，看看它们各自如何运作。

1. Token：AI 的“积木块”

首先要知道，AI 的“认字”方式与人类截然不同。它并不直接理解“文字”，它识别的是 Token。

• 通俗理解：好比一盒乐高积木。你输入一句话，AI 会先将其拆解成最小的零件。在英文里，一个 Token 可能是一个单词或词根；在中文里，通常是一个字或一个词组。
• 为什么重要：
  • 计费单位：与 AI 对话时，产生的费用本质上就是按 Token 数量计算的。
  • 限制条件：每个模型都有一个“上下文窗口”，例如 128k Tokens。这就像大脑一次最多只能处理这么多积木，超出就会“失忆”。
• 例子：简单的“Apple”可能就是一个 Token，而冗长的“Antidisestablishmentarianism”则可能被拆成 5 个 Token。

2. Prompt：你的“剧本文案”

Prompt 就是你向 AI 下达的指令，也就是常说的“提示词”。它的质量直接决定了 AI 输出效果的上限。

• 通俗理解：类似导演给演员说戏。你只说“演一下”，演员会茫然；你说“演一个在雨中失恋但强忍泪水的霸道总裁”，演员就能精准呈现。Prompt 就是那个“导演台词”。
• 核心技巧（Prompt Engineering）：
  • 角色设定：告诉 AI“你是一位资深律师”。
  • 上下文补充：提供背景资料，避免空泛输出。
  • 任务要求：明确输出格式，例如“请用 JSON 格式返回”。
• 一句话总结：Prompt 就是指挥棒，你挥得如何，AI 就跳得如何。

3. Embedding：语义的“数字地图”

如果说 Token 是积木，那么 Embedding 就是让 AI 理解这些积木之间“关系”的魔法。没有它，AI 很难把握“猫”和“小鱼干”之间那种微妙的语义关联。

• 通俗理解：想象一个巨大的 3D 空间。Embedding 把每个词语都映射成一个空间坐标（一串数字，例如 [0.12, -0.45, 0.88...]）。语义相近的词，在空间里距离更近。
• 它能做什么：
  • 语义找词：在数字地图上，距离“猫”最近的词不一定是“狗”，很可能是“小鱼干”或“毛球”。
  • 关联搜索：搜索“美味的午餐”，即使文档里没有出现“美味”二字，Embedding 也能帮你找到“披萨”或“汉堡”。
• 应用场景：这就是目前热门的 RAG（检索增强生成）技术的根基。把你的私有文档通过 Embedding 转换为坐标，用户提问时，AI 就去坐标系里检索最近的段落，然后回答。这才是真正意义上的“知识库”。

4. Function Calling：从“聊天”到“干活”的关键一跃

这是大模型从“只会聊天”进化为“能执行任务”的重要分水岭。

• 通俗理解：大模型本质上只是一个文本生成器，无法直接查询天气、购买车票或操控你的电脑。怎么办？给它一套“工具箱说明书”。
• 工作流程：
  1. 你问：“上海今天热吗？”
  2. 模型判断：它不知道实时天气。但它发现工具箱里有一个函数叫 get_weather(city)。
  3. 模型响应：它不直接回答，而是输出一条指令：“请帮我调用 get_weather(city='上海')”。
  4. 程序执行：你的客户端调用这个函数，拿到结果（例如“35度”），再反馈给 AI。
  5. AI 回答：“上海今天 35 度，挺热的。”
• 意义：这一步让 AI 获得了连接真实世界 API（如天气、日历、数据库）的能力。它不再只是一个问答机器，而是一个可以执行任务的 Agent（智能体）。

它们是如何协作的？一个完整的闭环

把这四个概念串联起来，才能看清 AI 应用的全貌。以开发一个“智能旅行管家”为例：

1. Prompt：你设定好“你是一位旅行管家，请根据用户需求查询机票”。
2. Token：用户说“我想去巴黎”，这句话被拆解成若干 Token 发送给模型。
3. Embedding：后台系统利用 Embedding 将“巴黎”与用户的历史订单进行语义匹配，发现他偏爱靠窗座位。
4. Function Calling：AI 发现无法直接订票，于是触发 book_flight 函数，填好“巴黎”和“靠窗”参数，帮你完成下单。

整个过程，就是从“输入”到“理解”再到“执行”的完整闭环。这四个概念，缺一不可。