AI结合Office办公工具第一季度表现分析

此时此刻，GenAI到底为Office带来了哪些实质改变？是单纯对原有功能查缺补漏式的增强？还是精准匹配用户真实需求所带来的效率飞跃？抑或只是经历无数次测试后所标榜的“新智生产力”？

办公软件因其用户基数庞大、受众范围广泛，毫无悬念地被推到了GenAI时代的风口浪尖。业界普遍期待，这个超级入口能引领更多普通人迈入AI世界。又一个季度过去，带着几分FOMO情绪的起伏，回望今年第一季度AI+Office赛道的演进，有三个问题愈发清晰。 首先，模型厂商、中间层玩家以及办公软件厂商都在借助RAG搭建知识库，那么这一领域的核心壁垒究竟在哪里？其次，吴恩达教授反复强调的Workflow，其实际价值究竟有多重？最后，在大模型应用边际成本依然高企、商业化被迫加速的当下，用户凭什么愿意掏钱？

01 当红炸子鸡——RAG

绝大部分知识都静悄悄地躺在文档里，找得到就是知识，找不到就成了不可撼动的存储成本。

为了应对模型幻觉，RAG技术在GenAI时代迎来了真正的高光时刻。从去年下半年到今年两会之后，市场需求几乎呈现直线飙升态势。模型厂商、创业公司、办公软件巨头，一股脑全扎进了以RAG为核心的知识库场景中。回过头看，微软的Copilot战略布局确实老辣——去年3月的首场发布会就亮出了Business Chat，本质上就是企业知识库问答，辅助决策。这种Top-Down的打法，直击老板们的痛点。 知识库的价值无需赘言。企业经营的沉淀，一部分在操盘手的脑子里，另一大部分则安安静静地躺在成千上万的文档中。问题是，几乎没有哪家公司从建厂第一天就定下严苛的文档命名制度。找文档本身已是令人头疼的事，要想在浩瀚的文件中精准定位某一段内容，更是难上加难。RAG的出现，让这一切变得可操作。基于查到的素材做二次创作，也就顺理成章。因此，RAG的重心从一开始的“解决生成问题”，逐渐转向专攻“检索”。

以RAG为核心的内容系统

设想一下，在没有AI辅助时，我们要创作内容或回复消息，第一步是什么？仔细回想，其实就是信息检索——要么从脑子里调取，要么去搜索引擎搜，要么翻模板或自己的知识库。找到之后才开始思考、组织、输出。RAG要做的，无非就是这两步：检索和加工。 **检索：数据异质性的处理** 数据被正式使用之前，ETL是绕不开的环节。但对RAG而言，仅仅做数据清洗还不够。清洗之后，如何将这些数据转译成LLM能理解的语言，才是关键。数据异质性的处理，因此成为检索能力的核心。传统的四种标准格式中，表格和PDF是最大的考验。LLM是连续token的文本模型，它能否理解二维表格的结构以及背后隐含的因果关系？目前尚无清晰结论，但肉眼可见的是“大宽表”肯定不行。论文中给出了很多表格数据的描述方法来提升理解准确率，但本质上还是需要借助视觉能力来辅助读取数据和理解表结构。 PDF作为一种标准的传输格式，保证了内容与样式的一致性。你会发现几乎所有组件都能导出为PDF，这也意味着它包含的元素极其丰富。它往往是“定稿格式”或“流通格式”，这也是为什么各家模型厂商的Chat页面上，PDF上传最多的原因。 <包含了多种数据内容的PDF文件> PDF的解析，不仅仅是内容解析，更是对其中非结构化数据中“数据意义”的解析。例如PPT导出的PDF，为了易读，各种分析图已经代替了冗余的文字。此时，LLM如何理解这些数字，直接决定了是否能将相关内容成功检索出来。目前业界的做法是借助LLM读图的能力进行SFT，辅助内容识别。数据异质性处理在数据准备环节，甚至在整个RAG内容系统中，都扮演着“地基”的角色。这方面的技术积累，未来完全可能成为壁垒。除了通用文档，特定场景（如泛问答场景）下的数据处理也有一些巧妙做法：将核心问题与常问问题做缓存，通过语义匹配大幅提升效率和准确率；支持拼写纠错、行业黑话及专业术语的同义词替换——这些传统搜索的小技巧，同样能提升检索的准确率。 检索的目的，就是找到与问题最相关的内容。Embedding和Rerank算法的迭代，空间依然很大。因此，无论是传统办公软件厂商、中间件公司还是模型公司，在这个环节各有各的牌可以打。 **生成：个性化地呈现相关内容** 生成有个基本原则：低幻觉、高相关性、个性化格式。前两点与检索强相关，第三点则与Prompt关系密切——包括内容呈现的格式、语言语气等。本质上，就是把找到的东西用一种更友好的方式交付给用户。那么，什么才是“用户友好”？这取决于下游任务。 根据方向不同，大致有三种需求：第一，用户需要结合素材进行二次创作，RAG的结果就是素材，因此需要一个编辑器来承接，LLM根据检索到的内容创作出符合场景的段落；第二，用户查询到的是精准信息，直接用于回复客户——比如销售、客服、帮助中心——这就对信息质量要求很高；第三，用户只是想找到相关文件，这其实解决了以往文档中心搜索能力弱的问题，检索准确率是关键，把相关文件信息完整展示出来即可。 从现阶段看，“找得到”依然是核心需求。至于生成的内容有多惊艳，那是锦上添花。RAG之所以如此火爆，也与它的生态位有关。有内容积累的，能靠RAG向下游走；有编辑器的，希望用RAG串联内容；有模型的，想把RAG这一层做精。无论输入还是输出，带动的都是数据。这样看来，三类厂商都有机会凭借一个单点突破抓住客户。 从C端来说，RAG的大前提是海量的精品内容，以保证输出草稿的质量。从B端来说，RAG的Content可不只是文档——要让用户用得放心：权限上的放心，内容准确度的放心，以及信息完整性（人、事、物）的放心。

02 被Dr.Ng多次提到的Workflow

如果说RAG获取到的是那些看得见的知识，那Workflow捕捉的就是看不见的知识。

面对一个复杂任务，最直觉的反应就是拆解。把线程拉长，思考的空间也就被放大了。思考、合作、模拟验证，成为完成复杂任务的关键。回到大语言模型，业务中的任务对推理能力的考验依然巨大。CoT、ToT、ReAct这些规划方法，本质上都是希望用Prompt引导LLM思考更长的时间——推理时间长了，似乎就有了深思熟虑的影子。为了提升准确率，引入Reflection机制，在流程中三省吾身，快速自我修正；甚至做多Agent设计，集思广益式地交叉验证。 那么流程里，除了SOP步骤，对企业来说还包含什么？如果说RAG的目标是用好Office用户留下的内容，那Workflow里就藏着各种看不见的专家Know-how。今天企业的专家知识，绝不是单点的内容，而是流程体系中沉淀下来的经验。它藏在每种可能的场景背后，藏在流程的每个节点里。过去，只有专家在场时，这些问题才能解决。今天做Workflow，就是想把无形的知识沉淀在这个流程中，通过知识共享和流程自动化的结合，提升整体生产力。从企业主的角度看，这显然有价值——专家知识的具象化，过去想都不敢想的事，今天有可能成真。 但这个过程是反人性的。真正的难点在于：用什么机制，驱动专家把核心知识完全贡献出来？这恐怕还需要在激励机制上进一步思考。另一方面，目前Workflow编排的学习成本依然太高。虽然通过节点连接的界面化展示，将过程按数据流向呈现给了编排者，但企业专家要编排自己的Workflow，仍然需要一个“翻译”角色——由翻译人员把专家的Prompt转译过来。无形之中，又增加了核心Know-how完整呈现的阻力。 Workflow的重要性归根结底，就是能让AI在真实的业务场景中真正“Work”起来。这里面包含业务标准流程、专家Know-how，以及经验沉淀下来的Tricky。如果能实现，不经意间就把企业客户的沉没成本又抬高了一档。

03 为什么要给AI付费？

稳定的付费只能来自于“定制化”。我只会为属于我的东西买单。

GenAI软件与传统软件相比，除了不确定性高，边际成本也不容忽视。毕竟每次调用，无论问题是否解决，成本都已经产生。为了提高端到端的准确率，背后用到的Prompt设计、Agent设计，甚至更换更先进的模型，都在拉高单次访问成本。与传统软件相比，成本几乎是指数级的上升。因此，AI的商业化被快速提上桌面——用户为什么要为AI付费？ 中间件平台未来的竞争优势中，一个能动态平衡成本-准确率-时延的Router，将占据非常重要的位置。当下的经济环境中，企业决策依然是成本敏感的。

雪中送炭，江湖救急

频率：较低｜场景重要性：中低｜输出质量要求：中等｜速度要求：快速

“还有5个小时就要提交汇报材料了，现在刚建好PPT文件。”如果是过去，开始搜模板，眼花缭乱的模板没一个与主题匹配，找到模板还得绞尽脑汁填内容。等填完了，已经迟了10分钟。 “跨领域方向的材料准备。销售宝爸要给小学生的班级分享GenAI。”过去的话，需要大量信息检索、设计结构，还得翻译成小朋友能听懂的语言，每天下班都得钻研几个小时。 今天的AI首先解决的就是这类问题：基于模板库或知识库，快速生成一份可用的草稿，用户只需在其基础上进行增删改，就能快速完成材料准备。用户愿意为这种高效付费——内容、AI、目标格式三者的融合，构成了引导付费的动力。这里未来最大的付费点，其实是内容。内容才是保证整体质量的基石，而内容包含两部分：模板格式和多种数据源的素材。

用户只会为定制化智能持续付费

频率：中高｜场景重要性：较高｜输出质量要求：较高｜速度要求：中等

随着AI智能化能力的提升，定制化的门槛也在降低。从C端来看，通过Prompt的描述，在Coze、Dify这类平台就能搭建一个属于自己的智能Bot。从B端来看，RAG带来了数据、组织、事务组成的内容定制化；Workflow融入了专家知识、经验技巧、标准流程等运转流程的定制化。用户需要的是高质量、高效率解决特定场景问题的能力，而不是学习成本高、目标泛化的通用能力。 Long Context Window某种程度上就是Chatbot窗口里最低门槛的定制化——只要与一个Bot持续对话，超长的Memory和RLHF技术都会强化这个Bot与使用者的连接，产生一种“懂我”的感觉。在Office场景下，用户的工作输出一定是连续的，只是数据呈现形式不同才选择了不同的容器，但内容本质上是一贯且上下相关的。此时，AI是否具备全局记忆，能否基于全局内容输出，将成为重要的付费诱因。这也是AI Tool和Copilot最大的区别。

04 AI Insights From Sio

红杉Arc课程的PMF框架 AI+Office，这一年。 万字长文！何谓MoE，为何MoE？ Notion AI视角下的 Humans in the Loop AI应用层P和M到底怎样F？ 万字长文！何谓Agent，为何Agent？

---

Reference：
[1].https://arxiv.org/pdf/2403.12031

---

※Mistakes & Opinions my own, and not of my employer.※