腾讯发布FinLLM-Eval：大模型金融场景幻觉专业评测方案

腾讯正式开源 finLLM-Eval——一套面向大模型在金融领域应用的幻觉专项评估框架。该项目首次提出无需依赖人工标注 GroundTruth 的金融数据真实性评测范式，突破性地解决了金融场景下缺乏权威评判基准的行业难题，为AI技术在强监管、高容错门槛的金融业务中稳健落地提供了关键基础设施支撑。

本次发布的开源版本涵盖以下核心能力：

• 逻辑一致性与事实准确性评估模块：提供完整可运行工程代码、内置示例评测数据集，并支持用户灵活扩展自有测试样本；系统自动输出详尽评估结果，包括综合得分、错误类型分布图、千字幻觉发生率等多维量化指标。
• 端到端金融数据准确性比对模块：技术实现方案

核心功能亮点

聚焦大模型生成内容质量评估

• 事实准确性评估：精准识别模型输出中是否存在虚构信息、事实混淆或时空错位等问题，确保内容与真实金融市场状况严格对齐。
• 逻辑一致性评估：深度检验模型推理链条是否契合金融基本原理、市场运行规律及主流投资方法论，有效拦截违背常识或理论矛盾的结论。

覆盖大模型全流程应用效果评估

• 零标注金融数据真实性验证：基于真实投资者提问语料，自动解析“标的×时间×指标”三元结构化事实，调用内部金融知识库完成全自动校验，彻底摆脱人工攥写标准答案的瓶颈。

AgentAsJudger 智能评测机制

• 全流程无人值守：由AI Agent自主完成事实抽取、逻辑路径还原，并与RAG检索结果或权威金融数据库进行交叉比对，实测准确率超96%。

后续，项目将持续演进 finLLM-Eval，规划新增非金融类指标验证能力、错误归因分析模块等功能。

想获取项目源码，请访问其开源仓库。