design – Portfolio
之前我们在用ClickHouse做数据统计分析，在这里过程中接触到了SuperSet这个工具。最开始试图在本地用Docker部署一套系统，后来因为环境问题，就直接用Python环境部署了一套 真实的环境， 而不是直接使用镜像。
阅读更多›
design – 安全大数据实践
接上次ClickHouse威胁日志分析那篇接着写，这次是我们要把已经存储于ES集群中的相关日志和威胁情报转存ClickHouse上，整体分三部分来说，一部分记逻辑和物理上Graylog是如何处理日志数据。第二部分是写ClickHouse在物理部署和逻辑流程上是如何处理数据，第三部分讲如何这种体系的数据系统进行对接，Graylog相关的这部分内容官网也会讲，但不会在讲在这种使用场景下的处理流程，只当讲Graylog本身的小型或是大一些规模的存储结构。
阅读更多›
design – 服务监控防护
为从上层部署更好说明问题，我们用卡通一点的方式来描述系统结构，不涉及到更多的负载均衡和线路保障这种细节点。我们先回忆一下基一地类ELK的解决方案。日志的数据的被封装抽象成Stream流的概念，引用Pipelin管道，把日志从逻辑上进行更高一级的抽象，这样我们不对直接面对文件和索引这些概念，有了Stream、Input、Output、这种概念的模式设计，可以更好的把原生的日志数据更好的归类和业务靠近。
阅读更多›
design – 服务监控防护
服务的稳定性和安全性是我们平时都要关注的，在服务器可用性达标的前提下，我们还要保证服务的安全性。如何服务本身已经不可能用，安全性也无从谈起了，再安全也不能通过拔服务器性电源保证服务的安全性，安全性对可用性来说是唇寒齿亡的关系，可用性对安全性来说，是后者存在的前提。
阅读更多›