design – Portfolio

流量威胁分析系统与Tenable生产实践

Blog of Feeling Responsive 信息安全体系构建中流量监听是一种常见的防护手段,从流量抓取到日志落地,从日志分析到威胁报警,相应产品基于流量分析模式,从最上层的处理逻辑来看是相近的,使用Suricata还是Snort处理流程类似接近,最粗放的方式去理解他们,这些系统都属于“大型字符串处理过滤系统”。 阅读更多›

design – Portfolio

商业智能分析工具Superset

Blog of Feeling Responsive 之前我们在用ClickHouse做数据统计分析,在这里过程中接触到了SuperSet这个工具。最开始试图在本地用Docker部署一套系统,后来因为环境问题,就直接用Python环境部署了一套 真实的环境, 而不是直接使用镜像。 阅读更多›

hobby – 最近才知道龙猫的日文名是totoro,照了几张龙猫小屋。

龙猫森林木屋

Blog of Feeling Responsive 龙猫森林木屋 阅读更多›

design – 安全大数据实践

ELK大数据与威胁日志的数据迁徙方法

Blog of Feeling Responsive 接上次ClickHouse威胁日志分析那篇接着写,这次是我们要把已经存储于ES集群中的相关日志和威胁情报转存ClickHouse上,整体分三部分来说,一部分记逻辑和物理上Graylog是如何处理日志数据。第二部分是写ClickHouse在物理部署和逻辑流程上是如何处理数据,第三部分讲如何这种体系的数据系统进行对接,Graylog相关的这部分内容官网也会讲,但不会在讲在这种使用场景下的处理流程,只当讲Graylog本身的小型或是大一些规模的存储结构。 阅读更多›

design – 服务监控防护

ClickHouse与威胁日志分析

Blog of Feeling Responsive 为从上层部署更好说明问题,我们用卡通一点的方式来描述系统结构,不涉及到更多的负载均衡和线路保障这种细节点。我们先回忆一下基一地类ELK的解决方案。日志的数据的被封装抽象成Stream流的概念,引用Pipelin管道,把日志从逻辑上进行更高一级的抽象,这样我们不对直接面对文件和索引这些概念,有了Stream、Input、Output、这种概念的模式设计,可以更好的把原生的日志数据更好的归类和业务靠近。 阅读更多›