作者：糖果

ETL

ETL是抽取（extract）、转换（transform）、加载（load）过程的统称。安全数据运营，需要对安全日志聚合，并集中存储，聚合的过程中，要对数据进行必要格式转换，便于安全检测程序进行处理。

数据源

ETL是对源数据进行数据抽取（E），进行合理转换(T)，再加载到（L）目地的一个过程，对应Graylog日志处理工具软件来说，常见的数据源：设备输出Syslog数据，Kafka队列的数据、Nginx日志等等，可以是Graylog支持接收的各种协议格式的数据。

转换

安全设备、安全服务输出的日志数据，需要进行数据转换，才能被安全检查程序有效使用，数据格式的转换，不用检测程序代码来完成转换，而是在存储到数据库之前，就由Graylog完成，随着Graylog软件系统的迭代升级，提供的格式转换的功能也随之丰富，比如：正则、GROK、分割符、Pipeline、Lookup等等处理方法，用户可以依据数据源日志格式的不同，灵活的选择转换方法。