Dify工作流爬虫批量采集公众号文章存入AI知识库教程

在AI辅助内容创作领域，知识库的关键作用日益凸显。其最直接的价值在于有效缓解AI幻觉问题——确保模型严格依据库内信息输出，杜绝凭空杜撰。更重要的是，知识库能够沉淀业务经验，保障内容输出的专业度与一致性，从而构建可信赖的AI应用基础。

在教培业务中，我长期维护着一个专属内容知识库。基于此库生产小红书、公众号内容，准确性显著提升，人设的专业度也随之稳固建立。

然而，现实中使用知识库的用户并不多。普遍痛点在于，将内容导入知识库这一环节本身就已足够繁琐。尽管腾讯IMA知识库支持快速存储公众号文章，但受限于知识库自身能力、模型调用机制及工作流设计，它更适用于日常问答场景，难以真正赋能业务。

今天这篇文章，我们将深入探讨如何利用Dify，通过爬虫抓取网络内容，并自动写入知识库，实现高效的内容沉淀与管理。

我的业务聚焦于数学思维教培，经常需要制作优质的小红书笔记和公众号内容来吸引目标客户。但纯AI生成的内容不仅幻觉严重，而且缺乏落地性。为解决这一问题，我决定新建一个“数学思维知识库”，将小红书、公众号上的优质内容全部收录，然后让AI基于该知识库进行内容生产。这样一来，效率与效果都能得到双重保障。

那么，以公众号内容为例，假设我看到一篇不错的文章，该如何将其加入Dify知识库？

前期准备

1. 创建知识库

如图所示，创建一个用于存放内容的知识库。这里我们先创建一个空的知识库即可。

创建完成后，需要从网址中获取该知识库的ID——它位于`datasets`和`documents`之间。

2. 新建API密钥

目前Dify尚未提供直接写入数据库的插件，因此我们需要通过HTTP请求来解决写入问题。走HTTP请求，自然需要密钥。按照以下步骤新建一个。

需注意：此密钥可操作所有知识库，务必妥善保管。

接着，在API文档中找到“通过文本创建文档”的接口。这里的请求规则，正是后续需要编写的内容。

3. 安装Firecrawl

要爬取网页内容，一个爬虫工具必不可少。这里选择Firecrawl，可直接在Dify的插件市场中搜索并安装。

安装后，根据提示前往Firecrawl官网注册账号，获取API Key。提醒一下，Firecrawl仅提供免费额度，超出部分需付费。

以上准备工作完成后，即可开始开发工作流。按照惯例，循序渐进：先做一个简单版本，再实现复杂版本。

青铜：抓取单页面存入知识库

以下是完整的工作流逻辑：从用户输入内容中提取出网址，接着用Firecrawl读取页面内容，再用AI提炼出标题和正文，最后存入知识库。

1. 参数提取器

如图所示，设置很简单，不再赘述。

2. 单页面抓取

Firecrawl提供了多个工具选项，这里选择“单页面抓取”即可。设置返回结果为markdown格式，并开启“仅抓取主要内容”（设为True），这样可以过滤掉无关的页头页尾。

关键之处在于“请求头”。几乎所有网站都有反爬措施，尤其是公众号文章，如果不做任何伪装，Firecrawl会被识别为机器人，返回错误结果。解决方案就是添加一个请求头，伪装成正常浏览器：

{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}

这样就能正确抓取文章内容了。

3. 参数提取器（进一步处理）

目的是从Firecrawl返回的内容中，准确识别出标题和正文。在提示词中，需要让AI确保还原完整内容，不做任何改动。

4. 转义特殊符号

因为接下来要走HTTP请求，内容格式非常敏感。如果有换行符或特殊符号，很容易报错。这里直接插入一段代码，对几乎所有特殊符号进行处理。

参考代码如下：

function main({arg1}) {
    return {
        content: arg1.replace(/\/g, '\\').replace(/"/g, '\"').replace(/n/g, '\n').replace(/r/g, '\r').replace(/t/g, '\t')
    }
}

5. HTTP请求：存进知识库

有了处理好的内容后，就可以新建HTTP请求节点了。有个小技巧：将前面API文档中的cURL示例复制过来，工具会自动填入参数。

然后点击上方的“鉴权API-Key”，按提示将知识库的密钥添加进去。还有一个重要细节：在Headers中务必添加`Content-Type`，否则无法识别正确的数据格式。

6. 测试运行

至此，工作流就完成了。将网址放入测试——OK，成功存入。

先不急于使用这个知识库。今天的内容，主要解决的是“存入”的问题。至于“读取”和如何应用，下回再聊。

白银：批量存多篇内容

假如手头有一批内容需要存入，逐篇添加显然效率太低。整体思路是：先获取这些内容的地址，然后利用“迭代”节点遍历网址，循环调用第一步的“读取网页-存入知识库”流程。

工作流结构如图所示。

先解决第一步。饼干哥哥此前用AI编程开发了一个浏览器插件，可以方便地将当前打开的网址采集下来。采集到的数据格式如下：

标题        mp_url
提高数学成绩的学习方法，比补课效果强100倍（深度长文）        https://mp.weixin.qq.com/s/NuFfXophlFASb2B6dpD17Q
学好数学，最重要的是抓住这个“根”！（附方法指引）        https://mp.weixin.qq.com/s/uz50tLQpHisNeYT9J-naHQ
提高数学成绩的超常规学习方法（深度好文）        https://mp.weixin.qq.com/s/vMqdQp0LWCO-OXgRRdJ7PQ
提高数学成绩的方法(建议永久保存)        https://mp.weixin.qq.com/s/SVSXmGDfR0JCDXq8Za9pvw
数学开窍的第一步，是规则的开窍        https://mp.weixin.qq.com/s/FDIOBPZA7RMqwXeIMVdyQQ
哈罗学校讲座逐字稿：怎样培养孩子的数学思维？        https://mp.weixin.qq.com/s/k_Dbkcf2fd15ItnlURiJtQ

接下来对工作流做相应修改。

1. 参数提取器

将参数提取器中的提取格式改为数组类型（Array）。同时修改“指令”，要求AI输出数组格式。测试节点，确保能正常输出。

2. 新建“迭代”节点

将原先的流程，原封不动地在迭代节点中重新构建一遍。需要特别注意，迭代输入必须是Array数组类型，这样它才能逐个遍历执行。

3. 运行测试

一次性将多篇文章的地址扔进去，可以看到“迭代”节点已在逐个处理——一切正常。

黄金：自动爬虫

除了手动添加，还有更极致的方法吗？这里提供两个思路：

第一个思路是借助AI的“深度搜索”能力，先搜索相关内容，再整理到知识库中。这样能快速新建多个主题的知识库内容。

第二个思路是借助Agent能力，给定一个网站链接后，让AI自主判断网站上哪些内容与主题相关，然后自动抓取并存入知识库。这类似于Browser-use的能力，可以自主浏览网站。如果真能实现，连小红书的内容也能爬进知识库。

今天的内容，本质上是为后面这两种更自动化的方式打基础——这个工作流可以打包成一个工具，供后续的深度搜索或Agent流程调用。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Dify工作流爬虫批量采集公众号文章存入AI知识库教程要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题