AI业务落地实战：再强也要防风险

在大模型刚刚兴起的那段日子里，用 Rust 搭建 LLM 服务算是个比较小众的选择。当时的想法很简单：借助 Rust 的高性能特性，打造一个稳扎稳打的大模型中间层。没有对比，也就无从感知性能到底强在哪儿，加上 SSE 这种流式交互方式，初期的体验其实相当顺畅——直到后来才意识到，那只是暴风雨前的平静。

刚踏入大模型开发，很大程度上是为了满足自己的技术好奇心。正好那时 Candle 框架刚刚开源，出自 Hugging Face 之手，拿来做了第一手实战体验。框架里自带的各种 demo 跑下来，也算是对机器学习有了个入门的感觉。随后发现很多基础概念还缺着，又找了几本基于 Python 体系的书啃了一遍。学着学着，一度动了想自己训练几个模型的念头，结果发现显卡实在是烧不起，单靠那台小 Mac 根本扛不住。恰逢 LLM 热度飙升，资本和技术一起往大模型上扎堆，训练这事也就不了了之了。不过初衷一直没变——用 Rust 构建高性能的 LLM 服务，只做上层应用，不做底层。

后来阿里通义千问开源，基于 LLamaEdge 在本地搭了一套大模型，依然没有选基于 Python 的任何框架。当时的目标很明确：在工作中不可能完全摆脱 Python，但在自己的技术体系里，一定要把 Python 排在外面，甚至 All in Rust 也在所不惜。只是本地搭建后很快发现意义不大——能跑，但性能实在拉胯，而且只能运行 14B 以内的小模型，让本就有限的推理能力雪上加霜。像坐过山车一样，最终还是回到了垃圾箱。

Candle 确实让人看到了 Rust 在机器学习领域的潜力。接着又关注到 Qdrant 这个向量数据库也是 Rust 技术栈，本地搭了一版体验后，觉得可以用在文本查重上。很快用 Candle 部署了 bge-m3，跑出向量做相似度查询，效果出奇的好，没多久就搬到了线上。当时自己部署时用了 L2 归一化，最近想切公共 API 才发现，厂商接口只返回生成后的向量，没有额外参数，拿不到当前版本归一运算的其他参数，直接不兼容。如果重新跑数据，几千万的量估计要跑两个月——这个教训深刻又昂贵。

如果之前都算是小打小闹，DeepSeek 的横空出世才真正成了 AI 落地业务的催化剂。年还没过完就开始加班搞落地，初期只是把 AI 入口暴露到前端页面，底层同时用 DeepSeek 和豆包的能力，融各家之所长，让用户体验了一把大模型的基本应用。随后是各种数据报表 AI 化，快速把报表类需求覆盖掉。这类应用用户量不大，倒是安安稳稳过了几个月。

后续又利用大模型的结构化能力做了几个重业务的应用：比如将 Word 解析后的内容直接格式化入库；把截屏内容扔给大模型，让它推理出我们想要的结构化数据；或者给大模型一部分用户的历史数据，让它生成专业化的记录。这些场景逐渐把大模型从“玩具”推向“工具”。

一直以为可以靠着 Tokio 大法就这么迭代下去，百万并发不在话下。直到最近遇到了 IO 和 CPU 混合型的 AI 处理，上线后大量用户反馈超时——第一次被 Rust 背刺。开始觉得 Rust 并不像其标榜的那样零抽象高性能，或许是对 Tokio 的理解还不够深吧。经过反复测试，最终结论是：Tokio 擅长的是 IO 类调度。任务处理速度越快，Tokio 的优势越大；反过来，如果任务很慢，尤其是包含 CPU 密集运算，Tokio 的优势就会变成劣势，很快调度饱和，开始阻塞用户请求。专门去官方讨论区和贡献者杠了差不多一个星期，一言难尽。双方一开始就不在一个频道：我说的是高并发下会阻塞，对方一直强调他们的没问题。对方建议把功能减到最小，听上去像是在嘲讽，但真实业务就是如此，必须处理。只好花大量精力寻找解决方案。

几经测试和反复试验，最终选择了 Rayon + Tokio 的组合方案：将 CPU 密集任务统一转到 Rayon 处理，Tokio 自带的阻塞线程池此时有点鸡肋——扔得多了 Tokio 自己就阻塞了。问了下 AI，AI 说这个组合等于“极致性能”。实际测试下来才知道，还得依赖更好的 CPU 和内存，如果 CPU 不行，一样拉胯。所以“功夫再高也怕菜刀”——对于这种混合型 AI 业务，高并发就是那把刀，刀刀见血，刀刀往系统瓶颈上砍。动辄上千并发时，CPU 跟不上，管你是 Rust、Go 还是 Ja va，服务秒歇菜。

距离真正的 AIGC 还差得很远。当有一天 AI 落地的业务应用数量足够多，能够形成一个完整的系统，那才是真正的 AIGC。而这个系统对第三方流水线或客户端的依赖越少越好——不然呢？如果发展到能和操作系统媲美的 AI 系统，还依赖一堆 Dify、Coze、n8n，那维护起来就是灾难。从实践角度看，AI 系统落地，框架不重要，技术也不重要，开发语言只是实现业务落地的工具之一。技术选型更多是开发者个人的喜好自嗨——毕竟 AI 时代，哪还有什么门槛？基础原理都一样，一通则百通。重要的是 AI 落地的业务，用户认可，愿意付费，这才是核心。

非常期待第一款由 AI 完全驱动的业务级应用系统会诞生在哪家公司。会是 DeepSeek 家吗？想想以后每天的工作任务就是给 AI 系统下达指令：比如完成什么功能的业务代码开发，完成某项代码的验收，在几点几分部署上线；或者让 AI 搜集材料制作 PPT、报告，编写课件，汇总学生数据因材施教，规划最合理的教学方式。而你只需要闲暇时看看 AI 系统执行进度如何，把大量时间留给思考或者交流上，而不是敲键盘——是不是也挺 AI 的？