当前位置: 首页
AI教程
多模型长上下文检索实测:大窗口未必好用

多模型长上下文检索实测:大窗口未必好用

热心网友 时间:2026-07-17
转载

对GPT-5 5、ClaudeOpus4 8和Gemini3 5进行百万token长上下文检索实测。单针检索中Gemini准确率94%最优,多针检索Claude以88 5%胜出,真实800页技术文档场景Claude答对8题领先。模型在不同任务中表现各异,窗口大小不等于检索与推理能力。

先说一个令人意外的结论——我们对 GPT-5.5、Claude Opus 4.8 和 Gemini 3.5 进行的长上下文实测,结果可能和多数人的预想截然不同。 三款旗舰模型均开启了百万 token 级别的上下文窗口:GPT-5.5 支持 105 万 token,Claude Opus 4.8 和 Gemini 3.5 均为 100 万 token。从数字上看几乎持平,但对开发者而言,窗口大小从来不是终点——我们真正关注的是,在真实业务场景中,这些模型能否精准定位目标信息,能否完成跨段落的关联推理。 最近,我们把这三位“选手”拉出来进行了一次横向评测。同一套测试代码、同一个 prompt 指令,三个模型各自运行一遍,用数据说话。

测试设计

本次评测采用经典的 Needle-in-Haystack(大海捞针)变体,设置了三个难度层级: - **单针检索**:在 100 万 token 的文本中嵌入一条目标信息,测试模型对信息的精准定位能力。 - **多针检索**:嵌入 5 条分散的信息,要求模型同时找出并整合,测试多目标关联与并行追踪能力。 - **真实文档**:使用 800 页技术文档,提出 10 个跨章节关联问题,模拟实际业务场景。 每个任务运行三轮取平均值,结果经过人工交叉验证。

单针检索结果

在 50 万 token 以内,三款模型的表现基本没有差距,准确率均超过 95%。 但从 70 万 token 开始,差异逐渐显现:GPT-5.5 在 80 万 token 处准确率降至 91%,Claude 为 93%,Gemini 则为 96%。 当窗口达到 100 万 token 满负荷时,Gemini 准确率为 94%,Claude 为 90%,GPT-5.5 仅为 87%。 Gemini 的长距离注意力机制在单目标定位上表现最为出色。Google 在长上下文 Transformer 架构上的优化投入,在这一场景下获得了显著回报。

多针检索结果

在同时定位 5 条分散信息时:Claude 准确率为 88.5%,GPT-5.5 为 84%,Gemini 为 81%。 结果与单针测试完全相反。Gemini 的全局扫描策略在单目标检索中占优,但在多目标并行追踪时注意力容易分散,导致遗漏。Claude 的推理链更长,逐目标追踪更加稳定。 一个直观的结论:如果只需查找一个信息点,Gemini 是更好的选择;如果需要同时跟踪多个目标,Claude 的表现更值得信赖。这对开发者的模型选型具有重要参考价值。

真实文档场景

面对 800 页技术文档和 10 个跨章节关联问题,Claude 正确回答了 8 个,Gemini 回答 7 个,GPT-5.5 仅答对 5 个。 GPT-5.5 的问题不在于找不到信息,而是在跨段落关联推理时出现了偏差——它混淆了不同章节的上下文,输出虽然看似通顺,但实际逻辑已经断裂。 这一点,才是开发者真正最在意的那一杆秤。
来源:https://cloud.tencent.com.cn/developer/article/2692806

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章
更多
Canva AI高效部署实战 NVIDIA CUDA环境配置指南参数与测试方法

Canva AI高效部署实战 NVIDIA CUDA环境配置指南参数与测试方法

面向需要在本地或工作站运行设计类AI流程的用户,梳理CanvaAI相关环境部署思路,覆盖CUDA版本选择、驱动安装、参数配置、测试验证、常见故障与安全边界。

时间:2026-07-18 19:02
Figma AI插件宝塔面板部署开源版含卸载清理教程

Figma AI插件宝塔面板部署开源版含卸载清理教程

围绕FigmaAI开源插件的自建部署流程,梳理宝塔面板环境准备、服务安装、插件配置、联调验证、常见故障、安全边界与卸载清理步骤。

时间:2026-07-18 19:02
Context7 MCP免费安装:数据目录迁移全流程与工作流模板导入

Context7 MCP免费安装:数据目录迁移全流程与工作流模板导入

Context7MCP可为AI开发环境提供实时文档上下文,免费方案适合个人学习与轻量项目。安装前需准备Node环境,迁移数据目录时应先备份配置,并通过客户端导入工作流模板完成联调。

时间:2026-07-18 19:01
Playwright MCP新手VPS安装避坑与数据目录迁移指南

Playwright MCP新手VPS安装避坑与数据目录迁移指南

PlaywrightMCP适合让AI客户端操控浏览器完成网页测试与自动化任务。VPS安装需准备Node环境、浏览器依赖、独立运行用户和数据目录,并注意无界面运行、权限、端口暴露与目录迁移等问题。

时间:2026-07-18 19:01
Apify AI安装环境中文汉化配置与快速上手检查清单

Apify AI安装环境中文汉化配置与快速上手检查清单

ApifyAI环境配置重点在Node js、ApifyCLI、账号令牌、项目依赖和中文说明适配。按步骤完成安装、登录、Actor创建、API连通测试与安全检查,可快速搭建可运行、可维护的自动化采集与AI处理工作流。

时间:2026-07-18 19:01
热门专题
更多
刀塔传奇破解版无限钻石下载大全 刀塔传奇破解版无限钻石下载大全
洛克王国正式正版手游下载安装大全 洛克王国正式正版手游下载安装大全
思美人手游下载专区 思美人手游下载专区
好玩的阿拉德之怒游戏下载合集 好玩的阿拉德之怒游戏下载合集
不思议迷宫手游下载合集 不思议迷宫手游下载合集
百宝袋汉化组游戏最新合集 百宝袋汉化组游戏最新合集
jsk游戏合集30款游戏大全 jsk游戏合集30款游戏大全
宾果消消消原版下载大全 宾果消消消原版下载大全
  • 热门数据榜