日志服务数据加工功能详解

概述

日志服务的数据加工功能，本质上是一个托管的、高可用、可扩展的数据加工服务。它能覆盖数据规整、富化、分发、汇总、重索引等几乎全部日常数据处理场景。说白了，就是把那些杂乱的日志数据按需理顺，让它们更有用。

条件

区域：所有Region，也就是说，国内国外的地域都已经支持了。

主要支持场景

场景1 – 数据规整（一对一）

对数据进行规范化、富化、重索引等操作，就像给原始数据做个“美容”，让它格式统一、信息更丰富。

场景2 – 数据分派（一对多）

先对数据进行规整，然后根据规则动态分发到不同的目标中。比如一条日志既需要保存到分析库，又要发到告警系统，一次加工就能搞定。

场景3 – 多源汇集（多对一）

支持跨账号、同Region下的数据操作，能把分散在多个账号中的日志汇总到一处。方便统一管理与分析。

场景4 – 常规数据加工场景

覆盖了数据加工的典型模式，包括过滤、分裂、转换、富化等。内置了200多个高阶函数和400多个正则表达式模式，大部分场景不用写代码就能搞定。如果遇到特殊需求，还支持自定义函数（UDF），灵活性很足。

具体来说：
过滤（filter）：把不需要的日志扔掉。
分裂（split）：一条日志变成多条。
转换（transform）：字段操作、内容转换等。
富化（enrich）：关联外部资源，给日志补上更多背景信息。
聚合（Rollup）（待上线）：按维度做聚集，减少日志量。
自定义操作（待上线）：如SQL模式解析、自定义Agg操作等。

优势

这是一站式托管的数据加工方案，实时、可靠、高性能，完全免运维，还能自动扩展。最直观的好处是什么？
接入更简单： 用最简单的方式，直接接入一个无索引、短期存储的logstore就行了，省去很多前期配置。
查询分析更快： 加工好的数据基于索引，查询速度明显提升。配合开箱即用的规则和简单语法，复杂加工也变得轻松。
业务场景更广： 通过富化、自定义加工，能挖掘出更多数据价值，支撑更高级的业务需求。
投递与生态对接更灵活： 可以轻松配置符合生态需要的规则，跟其他系统无缝衔接。

其他常见问题

费用问题

费用其实很清晰：读取源logstore和写入目标logstore按日志服务的标准收费，而加工服务本身消耗的机器与网络资源目前免费。建议根据实际需要，关闭源logstore的索引，并设置较短的保存时间，这样能有效降低成本。

进一步参考

日志服务最佳实践汇总（持续更新）
完整DSL语法介绍与参考PDF下载（持续更新）
数据加工指南

介绍：
功能概述
概念原理

快速开始：
快速开始（SLB日志加工实战）
控制台操作
源与目标
访问秘钥配置
作业诊断指南
性能指南
成本优化指南

语法：
DSL语法介绍
查询字符串语法
JMES语法介绍

管理配置：
子账号授权配置