Online Eval 在线评估
Online Eval是指在生产环境中对AI模型进行持续、自动化的性能评估，确保模型输出质量和稳定性。
一句话解释
Online Eval（在线评估）指在AI模型部署上线后，通过真实用户请求实时计算模型输出质量指标，如准确率、响应时间等，以持续监控模型表现。
为什么会被关注
传统离线评估仅能验证开发阶段的数据，无法覆盖线上流量中的新分布。随着MLOps实践普及，团队需要及时发现模型退化、数据漂移等问题，Online Eval为模型健康提供第一道防线。
在大模型时代，模型输出可能存在幻觉或偏差，在线评估能通过反馈信号自动触发重训或回滚，避免业务受损，因此成为AI工程化落地关键环节。
核心逻辑
Online Eval将评估逻辑嵌入服务请求链路，通常采用影子模式或旁路模式：真实用户请求同时发往模型和评估模块，评估模块对比模型输出与预期结果（如人工标注、规则校验或后验信号），计算并上报指标。
评估指标需与业务目标对齐，例如推荐系统的NDCG、客服系统的解决率。系统会设置阈值告警，当指标滑落时自动通知或触发重训流水线。
常见场景
搜索排序：实时监控点击率和相关性，当用户行为模式变化时及时调整模型。
内容审核：在线评估模型对违规内容的拦截率，确保误伤率在可控范围。
对话系统：持续跟踪用户满意度评分、意图识别准确率，发现冷门场景下的失败案例。
容易混淆的点
Online Eval不同于A/B测试：A/B测试通常在流量分配后对比两个版本的整体效果，而Online Eval聚焦单一模型在全部流量下的逐次评估，不要求分流。
也区别于离线评估：离线评估使用固定测试集，无法反映线上实时变化；Online Eval则利用真实用户反馈，但可能面临标注延迟或噪声问题，需要权衡实时性与准确性。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词法院AI应用是指人工智能技术在司法领域的落地实践，包括智能辅助办案、类案自动推送、裁判文书生成、庭审语音识别等，旨在提升审判效率与公平性，减轻法官事务性负担。
法院AI部署是指将语音识别、文书生成、类案推送等人工智能技术集成到法院办案流程中，旨在提升审判效率、降低人为差错，并推动司法透明化。近年来，各地智慧法院试点加速，AI从辅助工具逐渐嵌入核心业务环节。
法院AI训练指利用裁判文书、法律法规等数据，训练机器学习模型以辅助司法工作，如案件分类、证据分析、量刑建议等。它并非替代法官，而是通过技术手段提升效率与一致性，正成为智慧法院建设的核心环节。
法院AI仿真利用人工智能技术对法庭场景、审判程序、辩论逻辑进行数字化模拟，用于法律教学、案件预演、证据推演等场景，帮助法官、律师和法学院学生更直观地理解司法过程。
法院AI建模是指运用人工智能技术，尤其是大语言模型和机器学习算法，对案件的事实要素、法律条文和历史判例进行结构化建模，辅助法官完成证据审查、量刑参考和文书生成的技术方案。