用100次重复提问测试GEO概率波动规律

大模型生成的回答，本质上并不是“问一次就固定”的静态结果，而更像是一个带有概率分布的输出事件。它的波动并非难以理解的黑箱现象，而是可以被量化、被重复验证的。本文DeepIntelli将介绍一套基于100次重复提问的GEO稳定性测试方法，帮助判断生成式引擎优化动作是否真正产生了效果。

问题定义

GEO（生成式引擎优化）的核心目标，是让品牌在大模型回答相关问题时更有机会被提及和引用。不过，大模型的输出并不是固定不变的，而是具有明显的随机性：同一个问题，在不同时间、不同模型下，甚至同一次会话的不同轮次中，给出的答案都可能存在差异。也正因为如此，不能仅凭某一次提问中品牌是否被提到，就把它当作评估GEO效果的可靠依据。

我们需要一套可重复、可验证的测试方法，来回答以下几个关键问题：

在给定提示词下，品牌被引用的概率是多少？这个概率在不同时间节点是否稳定？优化前后，这个概率是否有显著提升？

数据模型与算法

测试设计

样本量：每个测试周期内，对每个提示词重复提问100次。提示词固定：整个测试过程中，提示词保持一致，避免引入额外变量。模型固定：分别针对豆包、DeepSeek等目标模型单独测试，不混用。时间窗口：每个测试周期建议持续1-2周，每天均匀分布提问，避免集中在单一时间段。

数据记录字段

每次提问建议记录以下字段：

字段	说明
timestamp	提问时间（ISO 8601）
model	模型名称（如 doubao、deepseek）
prompt	使用的提示词原文
response	模型完整回答
brand_mentioned	布尔值，回答中是否包含目标品牌名称
brand_position	品牌首次出现的段落序号（若未提及则为 null）

统计指标

引用率（Citation Rate）：brand_mentioned = true 的次数 / 100。位次分布：品牌首次出现段落序号的分布情况，计算中位数和四分位距。波动系数：将100次提问按时间顺序划分为10组（每组10次），计算每组引用率的方差。

判定标准

稳定：波动系数 < 0.不稳定：波动系数 ≥ 0.

复现实验步骤

准备提示词：选择与业务场景相关的3-5个典型问题，例如“推荐几个AI可见度优化服务商”。编写脚本：使用API或自动化工具，循环调用模型接口100次，并记录上述字段。运行测试：在测试周期内均匀分布提问，尽量避开高峰时段。分析数据：计算引用率、位次分布和波动系数。对比基线：在GEO优化前执行一次测试，优化后再执行一次，对比品牌引用率的变化。

评估与置信度

样本边界：本方法仅反映测试期间、指定模型和特定提示词条件下的结果，不直接推广到其他模型或其他问题。条件限制：模型更新、提示词微调、网络环境变化等因素都可能影响测试结果，因此需要在报告中明确注明。

结论

100次重复提问，是量化GEO概率波动的最低可行样本量，能够输出可复现的品牌引用率与稳定性指标。建议每季度执行一次测试，并在每次内容优化或技术调整后及时复测，以数据驱动生成式引擎优化策略的持续迭代。