Blog Archive

Check out all blog posts in my blog archive. Click on a headline to read the teaser.

安全自动化建设 › 自助安全扫描与代码审计系统架构实践
公司如果有不同的业务线,各业务系统上线发布之前要进行基本的安全检查。业务在国内的其它城市,机房位置不定,发布时间不定,这时候就需要设计一套自动化机制,在业务上线新功能之前,进行自动安全扫描与代码审计。自助自动是在传统方式上的一种改变,是对即存安检查系统的重新组合使用。传统的扫描和代码审计有历史课题。 阅读更多›

巴菲特视频采访 › 巴菲特谈他喜欢的音乐、电影和书等
巴菲特股东大会50问 阅读更多›

安全大数据 › DataX的Clickhouse读写插件
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。 阅读更多›

威胁流量分析 › 流量威胁分析系统与Tenable生产实践
信息安全体系构建中流量监听是一种常见的防护手段,从流量抓取到日志落地,从日志分析到威胁报警,相应产品基于流量分析模式,从最上层的处理逻辑来看是相近的,使用Suricata还是Snort处理流程类似接近,最粗放的方式去理解他们,这些系统都属于“大型字符串处理过滤系统”。 阅读更多›

数据统计可视化 › 商业智能分析工具Superset
之前我们在用ClickHouse做数据统计分析,在这里过程中接触到了SuperSet这个工具。最开始试图在本地用Docker部署一套系统,后来因为环境问题,就直接用Python环境部署了一套 真实的环境, 而不是直接使用镜像。 阅读更多›

安全大数据实践 › ELK大数据与威胁日志的数据迁徙方法
接上次ClickHouse威胁日志分析那篇接着写,这次是我们要把已经存储于ES集群中的相关日志和威胁情报转存ClickHouse上,整体分三部分来说,一部分记逻辑和物理上Graylog是如何处理日志数据。第二部分是写ClickHouse在物理部署和逻辑流程上是如何处理数据,第三部分讲如何这种体系的数据系统进行对接,Graylog相关的这部分内容官网也会讲,但不会在讲在这种使用场景下的处理流程,只当讲Graylog本身的小型或是大一些规模的存储结构。 阅读更多›

服务监控防护 › ClickHouse与威胁日志分析
为从上层部署更好说明问题,我们用卡通一点的方式来描述系统结构,不涉及到更多的负载均衡和线路保障这种细节点。我们先回忆一下基一地类ELK的解决方案。日志的数据的被封装抽象成Stream流的概念,引用Pipelin管道,把日志从逻辑上进行更高一级的抽象,这样我们不对直接面对文件和索引这些概念,有了Stream、Input、Output、这种概念的模式设计,可以更好的把原生的日志数据更好的归类和业务靠近。 阅读更多›

服务监控防护 › 网站服务的监控自动恢复与安全防护部署
服务的稳定性和安全性是我们平时都要关注的,在服务器可用性达标的前提下,我们还要保证服务的安全性。如何服务本身已经不可能用,安全性也无从谈起了,再安全也不能通过拔服务器性电源保证服务的安全性,安全性对可用性来说是唇寒齿亡的关系,可用性对安全性来说,是后者存在的前提。 阅读更多›

Portfolio › CPU内核信息泄露原理:在用户模式读取内核内存
我本打写一篇介绍这有多严重的文章,但并没有,我想你应该知道其严重性,如果没有的话,你应该读读这篇博客。如果你还觉得这东西微不足道,你更应该看看这篇文章。 阅读更多›

日志安全审计 › 基于Graylog日志安全审计实践
日志审计是安全运维中常见的工作, 而审计人员如何面对各个角落里纷至沓来的日志的数据,成了一个公通课题,日志集中收集是提高审计效率的第一步。现在各在安全厂商都提供自己日志中心产品,并提供可视化监控和审计管理工具,各需求方企业也可以使用ELK这种开源工具定制自己的日志中心,像Splunk这种收费产品也广泛被人们所知,而我们今天要说的是一种集大成的开源日志数据管理解决方案:Graylog, 以及基于Graylog安全审计实践。 阅读更多›

WEB安全与防护 › 基于Lua插件化的Pcap流量监听代理
我们在实际工作中,遇到了一个这样的用例,在每天例行扫描活动中,发现有些应用系统不定期的被扫挂,因为我们不是服务的制造者,没有办法在不同的系统里打印日志,所以我们就想用一个工具来获取特定服务的输入数据流。我们如果不在IDS上看应用的服务,可以直接针对服务所在服务位置,针对应用端口进行,有针对性的监听分析。 阅读更多›

WEB安全与防护 › 蜜罐背后的影子系统探秘
一般场景下我们会在内部部署蜜罐系统,当外部有渗透时,碰到蜜罐就会报警,蜜罐会去检索攻击源的位置,确定别攻击机器的IP端口,取得payload数据,配合IDS我们可以捕获事件的过程,然后采取对应防御措施。 阅读更多›