AI搜索醒脑的实用优化策略

AI搜索领域最近变得有点意思了。特别是Exa这个产品，它身上带着一股非常纯粹的技术范儿。我花了不少时间深度体验了一下，先扔几个核心判断出来：这东西，不是给普通人用的，它是一个彻头彻尾的开发者工具。

它的索引能力确实让人印象深刻。你猜怎么着？9年前、16年前的内容，它都能给你翻出来。但别高兴得太早，这些老古董里真正有价值的东西有多少？点进去一看，有些确实信息陈旧，甚至夹杂着一些卖书的、卖专栏的广告。这些广告商很聪明，在内容里嵌入了“IPD”这种关键词，再加上网站权重高，就被Exa给“骗”过来了。

这暴露了它的一个硬伤：它不能给你一个漂亮的、整合好的答案。你问它一个问题，它不会像ChatGPT那样直接告诉你结论，而是给你一堆链接，让你自己去翻、去筛、去点开看。这种体验，技术思维很重，但跟谷歌、Perplexity那种面向消费者的友好感，完全是两码事。

举个例子，我搜“IPD是什么”，它没给我想要的。我意识到问题可能太简单了，于是重新提问，把“IPD”的全称“Integrated Product Development”加上，它这才帮我过滤掉那些乱七八糟的信息。

03

紧接着，我又拿Perplexity做了个对比。Perplexity明显友好多了。从它们的定位就能看出门道：Exa是为AI系统和开发者设计的，它的工作是给AI模型“喂”知识和数据。而Perplexity是给普通人用的搜索引擎，提供问答式的搜索体验。两者压根不是一个赛道。

说得更技术一点，Exa定位是AI搜索的“中间层”，它通过API提供服务，整合世界知识为AI系统提供弹药。Perplexity则是端到端的搜索引擎，直接给用户端上总结好的摘要。

仔细研究了一下，它们背后的技术也不同。Exa用的是Embedding技术来理解语义，能搜索Twitter、GitHub、Reddit等多种数据源。而Perplexity则集成了GPT-4o API、Claude-3、Sonar Large (LLaMa 3)这些大语言模型。

那这两个核心思路到底有啥区别？我们来打个比方。想象你有一堆玩具，每个玩具都有个名字，比如“小汽车”、“洋娃娃”、“积木”。现在你要把这些名字告诉机器，让机器理解并记住它们。但机器只懂数字，不懂人话，怎么办？

Embedding技术就像一个魔法转换器。它可以把“小汽车”这种名字，变成一串数字，比如[1, 2]；把“洋娃娃”变成另一串数字，比如[2, 3]。这样一来，每个玩具都对应了一串独特的数字，机器就能通过数字来“理解”和区分不同的玩具了。

更神奇的是，这个技术还能让相似的玩具拥有相近的数字。比如，“小汽车”和“卡车”都是车，它们的数字就会比较接近；而和“洋娃娃”的数字就会远得多。所以，Embedding技术的本质，就是帮机器把各种信息转化为数字来理解和记忆。

而GPT-4o API和Claude-3是另一种路子，它们是已经开发好的语言模型。Perplexity不过是把不同的模型整合起来，让它们去执行写文章、回答问题、聊天这些动作。

很明显，这两者的核心区别在于：前者是把词汇、图片等变成一串数字，方便计算机学习和使用；后者是更贴近用户，帮你在网上找到需要的信息，比如新闻、图片或视频。

所以，结论很清晰：Exa是给AI和开发者用的高级搜索工具，更注重数据的深度整合和技术处理；Perplexity是面向普通用户的搜索引擎，追求直接、好用的便捷性。它们根本就不在一个赛道上。

04

关于Embedding技术，国内其实也有很多研究者在跟进。查阅资料发现，百度智能云的一篇文档里，就深入讨论了Embedding在推荐系统中的应用，包括怎么更好地推荐用户和商品，以及序列推荐和知识图谱的应用。这些技术把零散的数据变成连续的向量，显著提高了推荐系统的表现和准确度。

还有一个技术博客的作者，在文章中详细说明了Embedding技术在58同城房产相关业务和推荐场景中的实际应用^[1]。另外，李乾坤在GitHub博客上，也详细描述了Embedding技术的原理和在自然语言处理中的应用，像Word2Vec和GloVe这类模型，就是通过把单词变成高维向量，来捕捉单词间的语义关系^[2]。我对这块并非专家，只是把它们罗列出来供你参考。相信这门技术在国内很快也能找到用武之地。

那么，我们是否可以断言：这项技术正在迭代传统以整合信源为中心的AI搜索引擎呢？答案还不确定。但至少，它已经证明了自己具备一定的市场需求。

比如，前阵子有篇文章特别火，叫《中文互联网是否会消失》。抛开争议不谈，普遍的看法是：中文互联网内容并没有迅速消失，相反，其在全球范围内的比例在增长。根据W3Techs的数据，截至2024年7月，中文内容在全球网站上的使用比例为1.5%，中文和印地语内容的比重都增加了超过10倍。

这说明了什么？互联网数据并没有消失，只是我们需要特定的工具把它给找出来。

国外知名风投机构Lightspeed，在投资Exa后，分享了一些关于未来智能体网络的想法。他们最近一直在思考一个全新的、支持AI智能体的网络基础设施。这种网络会和我们人类用的网络完全不同，因为AI智能体和人类需要的东西不一样。

为什么需要专门的智能体网络？原因有两个：第一，AI智能体要获取最新且准确的信息来完成任务。虽然现在的大型语言模型能记住很多静态数据，但这些数据很快就会过时，而且不容易找到需要的信息。第二，虽然现在有了检索增强生成（RAG）技术，能帮助大模型处理训练数据之外的信息，但这些通常都局限于私人或内部数据。

理想情况下，AI智能体应该能通过API检索整个公共互联网的信息，这就需要新的基础设施——也就是智能体网络。

但建设这样的网络，面临很多技术挑战。现有网络基础设施，主要是为了服务广告商，而不是用户。传统搜索引擎更关注广告点击和展示，这就催生了庞大的“SEO”产业。结果就是，内容质量并不总是排在第一位的。

举个简单的例子，当你搜索“精通Go语言的软件工程师”，理想的结果应该是直接指向工程师的个人网站或社交媒体资料，而不是一些讨论Go语言的网页。好的搜索引擎应该能理解“实体”的概念，而不是泛泛地搜索话题。所以，AI想要的搜索结果，和人类可能完全不同。

AI用的搜索引擎不应该显示广告，应该直接显示结果。不幸的是，现在人类和AI用的是同一套搜索结果，这种“一刀切”的方式实在太糟糕了。

Exa的用武之地就在于此。它是一个为AI智能体专门设计的、基于嵌入技术的搜索引擎。它获取并索引网络上的最新内容，并通过一种独特的“链接预测”模型，通过搜索API，把数据提供给基于大型语言模型的应用程序。这个模型被专门调整过，以便更好地理解搜索查询，并从索引中返回最相关的链接。

这就好比，当你向一位优秀的图书管理员询问某个主题的书时，他不仅能迅速找到相关的书，还能确保他拿给你的，正是你现在最需要的那一本。有了Exa，互联网对AI来说，变得既新又有趣。它正在执行和设计适用于AI和互联网信源革命的任务。简单概括就是：它想给AI搜索引擎“洗个脑”，做中间那个承上启下的角色——左手深度检索信源，右手把干净的数据投喂给大语言模型，让它更聪明、更高效。

总结

中国，什么时候能有这样的公司？

答案是：很快了，值得期待。至少，这两个年轻人的创新想法，让人们看到了一个全新的机会点。