日志服务数据加工规则洞察仪表盘使用指南

数据加工诊断仪表盘

想实时掌握日志服务加工功能的运行状态？直接从加工列表页点击那个“规则洞察”按钮，仪表盘就会立刻呈现出来。入口就在那儿，不绕弯子。

跳转后，你可以按作业名称、实例ID或源LogStore来筛选任务状态。比如下边这张图，展示的是当前实例ID（90c9d47714dbb807d47c13b819d3e7df）的默认作业情况：

注意：预览任务的状态数据不计入本报表，别搞混了。

总览指标

这里看几个核心数据：从源LogStore各shard读到的日志条数总计、成功投递到目标LogStore的日志条数总计，以及加工过程中失败的总计。最后还有一个占比——投递日志数占比，就是成功投递的条数占读取总数比例，这个数字直接反映加工效率。

加工速率指标

每分钟窗口内，加工任务处理的日志条数被拆成四条指标：

• accept：从源LogStore读到的日志条数
• dropped：按代码预期被丢弃的日志条数
• delivered：成功投递到目标LogStore的日志条数
• failed：加工过程中失败的日志条数

消费延迟与速率指标

每分钟窗口内，每个Shard的消费情况如下：

• 消费延迟：当前时间减去该Shard最近一条已完成日志的时间（也就是Server Arrived Time）
• 消费速率：该Shard在这一分钟内每秒读取的日志条数

处理实时日志时，消费延迟通常维持在1秒左右。但如果任务是回溯历史数据，刚开始的延迟会很高——随着加工不断推进，消费进度会逐步追赶上来，最终降到低延迟水平。

活跃Shard指标

这里展示的是最近一段时间内，每个Shard每秒处理日志的行数，包括accept、dropped、delivered和failed四个维度。

异常详情

如果出现错误，可以查看reason字段，它会告诉你代码问题出在哪。更详细的信息，还可以进入当前Project下的internal-etl-log LogStore（免费使用）：

用关键词ERROR或WARNING就能搜到完整的代码执行错误日志。

要是问题还是搞不定，把这部分信息整理好，直接联系日志服务团队寻求支持。

进一步参考

• 日志服务最佳实践汇总（持续更新）
• 完整DSL语法介绍与参考PDF下载（持续更新）
• 数据加工指南
• 功能概述、概念原理
• 快速开始（SLB日志加工实战）
• 控制台操作、源与目标、访问秘钥配置
• 作业诊断指南、性能指南、成本优化指南
• DSL语法介绍、查询字符串语法、JMES语法介绍
• 子账号授权配置