Reddit被曝屏蔽多个搜索引擎和AI爬虫 官方称与谷歌合作无关
今年2月,谷歌与Reddit达成了一项重要合作:Reddit将提供其海量数据用于训练谷歌的AI模型,而作为交换,Reddit的内容在谷歌搜索结果中将获得更高的展示权重。据彭博社报道,这笔交易金额约为6000万美元。此后,Reddit在谷歌搜索中的曝光量便急剧攀升。然而,就在与谷歌达成“独家”合作后不
今年2月,谷歌与Reddit达成了一项重要合作:Reddit将提供其海量数据用于训练谷歌的AI模型,而作为交换,Reddit的内容在谷歌搜索结果中将获得更高的展示权重。据彭博社报道,这笔交易金额约为6000万美元。此后,Reddit在谷歌搜索中的曝光量便急剧攀升。
然而,就在与谷歌达成“独家”合作后不久,Reddit便对其他搜索引擎关闭了大门。最新消息显示,Reddit已禁止其他搜索引擎抓取其网站内容。外媒404 Media率先报道了这一动态,指出Reddit更新了robots.txt文件(网站与爬虫的协议文件),明确禁止所有机器人抓取任何内容。
查阅Reddit的robots.txt文件,可以看到一句非常直白的声明:“Reddit相信开放的互联网,但不相信滥用公共内容。”同时,“Disallow”选项被设置为“/”,这意味着禁止检索根目录下的所有文件——连根目录都不允许爬取。

该文件于今年6月首次更新,Reddit当时给出的解释是:抓取Reddit内容的商业实体明显增多,且内容被滥用的情况日益严重。
受影响的搜索引擎不止一家。据外媒9To5Google报道,Bing、DuckDuckGo、Mojeek和Qwant等均受到了波及。使用“site:reddit.com”搜索时,要么无法刷出最新内容,要么干脆不显示完整的网站结果。不过最新测试显示,Bing和DuckDuckGo已恢复正常显示。
Reddit发言人Tim Rathschmidt在给The Verge的声明中明确表示:“这与我们最近与谷歌的合作完全无关。”他补充说,Reddit一直在与多个搜索引擎进行沟通,但有些方面既不愿签署协议,也不肯就如何使用Reddit内容(包括AI训练)做出可执行的承诺——那么就只能被屏蔽了。
你是一名 AI 行业编辑,请围绕下面这条热点输出一份资讯解读:
热点:Reddit被曝屏蔽多个搜索引擎和AI爬虫 官方称与谷歌合作无关要求:
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题
游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。
相关热点VSona是一个开发AI伴侣的平台,提供聊天、角色扮演、创意表达等功能。用户可自定义头像和声线,支持文字或语音互动。AI伴侣具备动画反馈和语音响应,营造安全、沉浸的个性化互动空间。
MastermallowAI音频母带处理适用于音乐、播客及内容创作者。可将原始录音一键转为专业音频,提升播客音质,为音乐作品添加母带效果。特色包括智能音频分析与增强、原音与母带实时对比、高质量成品下载。
MyCharacter AI是基于Polygon链的去中心化应用,通过CharacterGPTV2多模态AI系统生成具有独特形象和性格的AI角色。用户可与角色实时互动,并将其作为NFT收藏、交易或转让,实现AI角色生成、互动与资产化的一体化。
ToMate基于AI智能高效处理客户消息,适用于客服、销售及市场营销等场景。它能及时贴心回复,支持解析多种文件格式,并采用灵活定价方案,显著提升工作效率与客户满意度。
- 日榜
- 周榜
- 月榜
热点快看
