日志服务数据加工语法功能核心概述指南

坦白讲，大多数数据处理场景下，单纯靠几个固定函数就想搞定所有需求，基本没戏。真正要应对复杂多变的日志、业务数据，最终都得回到“编排”这件事上。说白了，就是得有一套足够灵活的机制，让你能像搭积木一样，把各种处理逻辑组合起来。

自由编排

数据加工的核心在于编排。通过一套兼容Python的ETL语言，你可以把各种逻辑进行灵活组合，满足绝大多数数据加工的个性化需求。举个例子，想实现一个复杂的加工链路，只需要按顺序编排几步操作就行。

完整的加工功能

系统内置了近30种全局步骤函数。这些函数不只是简单的动作，它们能调节行为参数，还能接受其他表达式函数的运算结果作为输入。这种嵌套调用的能力，才是真正拉开差距的地方。

具体来看，功能覆盖了这几个维度：

• 控制：支持基于条件判断的流程分支，比如 if-else、if条件-操作配对、switch分派、compose组合。配合e_search这样的搜索语法，不同格式的日志都能灵活处理。
• 事件操作：可以随意对事件进行丢弃、保留、分裂、输出、复制等操作。
• 字段操作：支持保留、删除、重命名字段，随心所欲。
• 字段赋值：能基于任意表达式组合的结果来设置字段的值，自由度高。
• 字段值提取：支持正则、GROK、KV、CSV、TSV、PSV、syslog等多种方式提取字段中的值或键值对。JSON提取和展开也提供了完整的方案。
• 字段富化：这是很强的一块。支持基于字典、表格进行映射或搜索，尤其是搜索表格的映射方式，能力突出。富化信息可以从规则配置、OSS、RDS、Logstore等外部资源获取，并且支持全量、增量或改动日志的自动刷新。

灵活的函数库

目前提供了近200个内置的表达式函数，用于转换事件或控制全局函数的行为。这个数量基本覆盖了主流的数据加工需求，具体包括：

• 事件搜索：类似Lucene语法的条件过滤机制，支持正则、字符串、泛字符、数值比较、and/or/not组合。
• 基本操作：字段取值、控制、比较、容器判断、多字段操作等。
• 转换函数：基础类型转换、数字转换、字典和列表操作。
• 算术函数：基础计算、多值计算、数学计算、数学参数等。
• 字符串函数：多字段操作、编码/解码、排序、替换、规整、查找、切分、格式化、字符集判断等。
• 日期时间函数：智能转换、获取属性、格式化、修改、比较等。
• 正则函数：字段提取、匹配判断、替换、切分。
• GROK支持：支持模式替换，提供400种内置模式。
• JSON与XML：提取、过滤等。
• Protobuf：支持基于配置进行格式转换与提取。
• 编解码：SHA1/256/512、MD5、HTML、URL、Base64等。

支持动态分发

实际业务中，数据不一定都流向同一个地方。系统支持根据业务需求，将数据按特定逻辑分发到不同的目标Logstore。更灵活的是，目标Logstore的名称可以是动态计算的，甚至是从外部第三方获取的。

支持灵活富化

富化数据的来源同样丰富。数据可以从本地资源、外部资源（OSS、RDS、日志服务Logstore）获取，支持从字典、表格的常规映射，到搜索表格的复杂映射。外部资源的加载还支持自动刷新和快照机制。

支持自定义UDF扩展

内置的200个函数基本够用，但如果遇到特殊场景，也能通过提交工单获得支持。另一方面，底层采用Python引擎，理论上任何Python库稍加包装就能接入。自定义UDF功能目前尚未全面开放，需要提工单申请。

进一步参考

如果想深入了解，可以参考以下内容：

• 日志服务最佳实践汇总（持续更新）
• 完整DSL语法介绍与参考（持续更新）
• 数据加工指南

介绍： 功能概述、概念原理

快速开始： 快速开始（SLB日志加工实战）、控制台操作、源与目标、访问秘钥配置、作业诊断指南、性能指南、成本优化指南

语法： DSL语法介绍、查询字符串语法、JMES语法介绍

管理配置： 子账号授权配置