相似性搜索 大模型不可或缺的核心底座技术

“语义理解是人工智能的基石，而语义理解得以实现的核心支撑正是向量。”

这句话精准揭示了当前AI技术的一个关键脉络。

提及相似性搜索，有些人可能熟悉，有些人则较为陌生。然而换成另一种说法——语义搜索，相信大多数人都耳熟能详。在一定条件下，我们可以将相似性搜索近似视为语义搜索，但两者之间并不能完全等同。

今天，我们就来深入探讨这个在RAG技术中扮演“关键利器”的概念，它同样是人工智能时代不可或缺的基础能力之一。

相似性搜索：从字符匹配到语义理解

在传统计算机技术中，绝大多数搜索依赖于字符匹配。最典型的例子是：在搜索引擎中输入一个查询，系统返回包含相同关键词的结果。技术人员对此逻辑再熟悉不过，甚至SQL语句本质上也是基于特定字符串去匹配数据。

然而，字符匹配存在一个明显的缺陷——它无法理解语义。

以四大名著为例，如果使用字符匹配搜索“孙悟空”，那么只能找到这三个字连在一起的文本。而“孙猴子”、“齐天大圣”等与孙悟空高度相关的词汇，很可能会被遗漏。

而相似性搜索则截然不同。

假设你搜索“一位和尚带着一只猴子、一头猪，历经重重困难的故事”。按理，系统应当返回《西游记》。尽管搜索词中完全没有提到“孙悟空”、“唐僧”，但语义理解却能准确把握。这，才是真正的语义搜索。

语义搜索的优势十分明显——它使计算机能够更好地理解人类的语言和真实需求。无需给出精确指令，它便能大致推测出你想要做什么。

例如你说“忙了一天脚不沾地，又饿又困又累”。如果人工智能具备语义理解能力，就会推断出你可能想先吃饭，吃完饭洗澡，然后好好睡一觉。而不需要你依次下达“我要吃饭”、“我要洗澡”、“我要睡觉”这样的指令。

语义理解是自然语言处理的根基，也是实现人机交互的关键桥梁。正因如此，语义搜索成为相似性搜索的重要应用领域。然而，为什么说相似性搜索并不完全等同于语义搜索呢？

原因在于，相似性搜索的应用范围更为广泛——图像搜索、混合搜索、智能推荐等众多场景都离不开它。

那么，相似性搜索究竟是如何实现的呢？

这里必须引入一个核心角色——向量。

向量的功能十分强大，在人工智能的诸多场景中都有广泛应用。而相似性搜索作为AI的关键环节，向量自然而然地成为其核心工具。

过去，互联网上绝大多数数据是结构化数据，例如关系型数据库中的表格。然而随着技术发展，非结构化数据日益增多——图像、音频、视频、图文混合等格式层出不穷。

不同格式的数据处理起来相当复杂。更重要的是，非结构化并不意味着这些数据之间不存在关联。如何统一处理这些类型多样的数据，成为了技术上的难点。

后来人们发现，向量天生适合处理这类问题。技术人员只需将文本、图像等原始数据转化为向量表示。计算机便可以通过向量之间的距离、长度、方向等维度，来衡量不同格式数据之间的相关性。

目前，主流的相似性搜索实现方式是采用欧式距离、余弦相似度等算法，来计算向量之间的关系，从而最终完成语义搜索。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：相似性搜索 大模型不可或缺的核心底座技术要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题