WebScraper：RAG应用中链接转LLM文本工具
项目简介 本项目专注于解决一个核心需求：高效抓取网页内容，将其转换为 Markdown 格式，从而让您的 AI 搜索应用能够准确理解和处理。简而言之，在 RAG（检索增强生成）系统中，它能够将普通链接转化为大语言模型（LLM）易于读取的文本。 实现原理清晰易懂：首先通过无头浏览器或直接发送 GET
项目简介
本项目专注于解决一个核心需求：高效抓取网页内容，将其转换为 Markdown 格式，从而让您的 AI 搜索应用能够准确理解和处理。简而言之，在 RAG（检索增强生成）系统中，它能够将普通链接转化为大语言模型（LLM）易于读取的文本。
实现原理清晰易懂：首先通过无头浏览器或直接发送 GET 请求获取目标页面，接着利用 Readability 算法提取并清洗出主要内容，最后将剩余的 HTML 结构转换为结构化 Markdown 格式。
运行
如需运行，请先创建 config/dev.yaml 配置文件。操作非常简单，只需从 config/temp.yaml 复制配置模板即可。
随后在本地环境中启动项目，前提是您已安装 Chrome 浏览器。执行以下命令即可快速运行：
make dev
项目启动后，请在浏览器中访问以下地址：
http://127.0.0.1:4090?u=https://github.com/zzzgydi/webscraper
此外，您也可以使用 curl 命令直接调用接口：
curl -X POST -H "Content-Type: application/json" -d '{"url_list":["https://google.com"]}' http://127.0.0.1:4090/v1/scrape
服务器正常启动后，运行日志将自动写入 output/log 目录中。
部署
在生产环境部署时，需创建 config/prod.yaml 配置文件，并将 Chrome 远程调试地址设置为 ws://chromedp:9222。随后执行一条命令即可完成部署：
docker compose up
你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：WebScraper：RAG应用中链接转LLM文本工具要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站，所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系youleyoucom@outlook.com。
相关热点7月16日，商汤科技正式发布并全面开源了日日新SenseNova-Vision理解生成统一视觉大模型。这款模型的目标很明确——宣告视觉AI“缝合怪”时代的终结。截至发布时，该模型在Hugging Face Any-to-Any Leaderboard综合得分登顶全球第一，成为该全模态任意输入输出开源
商汤科技开源日日新SenseNova-Vision视觉大模型，以单一模型统一覆盖检测、分割、深度预测与3D重建四大任务，在HuggingFace全模态榜单综合得分全球第一，并开源5000万条样本语料库，推动视觉AI从专业分离走向原生统一。
MANUS是面向企业流程自动化的专业智能体框架，配置门槛较高；DeepSeek是通用大模型，擅长开放域对话与生成，使用便捷。前者如专业螺丝刀，后者如瑞士军刀，定位不同。未来趋势将融合大模型决策与智能体执行，构建更全面的AI应用。
DeepSeek最新估值约3510亿元，本轮融资完成后立即启动第二轮融资，引发市场对IPO进程的关注。年底是否冲刺科创板尚无定论，公司估值已大幅提升。
- 日榜
- 周榜
- 月榜
热点快看