火车头采集器翻页采集设置步骤详解

火车头采集器在处理多页面抓取时，需要正确配置翻页规则才能完整获取数据。以下是五种常见的配置方法：一是普通翻页，适用于静态链接；二是URL参数替换，处理带有规律数字参数的页面；三是JavaScript动态加载分页，需启用浏览器内核模拟真实操作；四是手动导入URL列表，应对结构混乱的站点；五是内容页内部分页采集，确保跨页文章被完整合并。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

如果在使用火车头采集器时，发现只能抓取首页内容而无法自动跳转到后续页面，这通常意味着翻页规则没有配置正确。接下来，我们将详细介绍每种翻页设置的具体操作步骤。

一、配置普通翻页规则

这种方法适合目标网站结构稳定、使用“下一页”按钮且链接为静态HTML的情况。通过识别并提取该链接，即可实现自动翻页。

首先，进入采集任务的“链接抽取”模块，点击“普通翻页”选项卡。

接着，在目标网页底部找到“下一页”的文字或按钮区域，按住Ctrl键并用鼠标左键点击该区域，完成选区定位。

在弹出的配置窗口中，勾选“标题过滤”选项，选择“包含”条件，并在输入框中填入“下一页”。

最后，点击“保存”并进入“采集预览”。在左侧列表中选择“普通翻页”，确认能成功提取出下一页的URL地址。

二、设置分页URL参数自动替换

当分页URL带有明显数字规律时，例如包含“page=1”、“p=2”这类参数，可以使用此方法。它通过参数占位符驱动采集器连续发起请求。

新建任务时，在起始地址栏填写完整的列表页URL，并附加特定格式标识，例如使用“##page=[地址参数]#”这种格式。

举个例子，你的起始地址可以这样写：https://example.com/list.html##page=[地址参数]#。

然后，在“分页”设置中选择“地址参数替换”模式，指定参数名为page，起始值为1，步长为1，结束值则根据实际总页数进行设定。

别忘了启用“自动翻页”开关，确保每页采集完毕后，程序能立即构造新的URL并继续抓取。

三、处理JavaScript动态加载的分页

很多现代网站的分页内容由Ajax或Vue、React等框架异步渲染，无法直接从源码中获取链接。这时就需要模拟真实浏览器行为来触发分页逻辑。

首先，在任务设置中启用“使用内置浏览器内核”功能，例如选择EdgeChromium或Puppeteer内核。

其次，将“页面加载等待时间”设置为不低于3000毫秒，以确保页面上的JavaScript有充足时间执行完毕。

接着，在“下一页提取方式”中选择“JavaScript执行”，并填写相应的脚本语句，例如“document.querySelector(".pagination .next a").href”。请注意，这里的CSS选择器需要根据目标网页的实际DOM结构进行调整。

运行采集预览，观察程序是否能逐页加载并成功提取出有效的分页链接。

四、手动导入分页URL列表

如果目标网站的分页结构混乱、毫无规律，或者反爬机制较强，导致无法通过自动方式识别，可以采用这种预先整理URL再批量导入的方法。

你可以使用Python脚本或在线工具批量生成所有分页地址，保存为纯文本文件，确保每行只存放一个URL。

在火车头中新建任务，并选择“从URL列表开始采集”模式。

点击“导入URL”按钮，选择已准备好的文本文件，并确认文件编码格式为UTF-8。

在URL列表配置中，务必勾选“启用分页采集流程”，这样才能让后续的内容抽取规则对列表中的每一个URL独立生效。

五、启用内容页内部分页采集

这个方法专门用于处理单篇文章内容跨越多页展示的场景，比如文章底部有“第1页/共5页”这样的导航。它能确保整篇文章的所有分页内容被完整抓取并合并。

首先，进入“模板抽取配置”界面，选中需要跨页提取的内容标签，例如承载正文的div容器。

接着，在右侧属性栏中，勾选“该标签在分页中匹配”选项。

然后切换到“数据来源”设置，点击三角图标，选择“默认页和内容分页源码”。

最后，在“内容分页规则”中填写分页导航元素的选择器，例如一个CSS路径：“.article-page-nav a”。