ELK(,Logstash,Kibana)搭建实时日志分析平台(开源实时日志分析ELK平台部署)
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。
集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由、Logstash和Kiabana三个开源工具组成。官方网站:
85是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
85Logstash是一个完全开源的工具,他可以对你的日志进行收集、分析,并将其存储供以后使用(如,搜索)。
85kibana也是一个开源和免费的工具,他Kibana可以为Logstash和提供的日志分析友好的Web界面,可以帮助您汇总、分析和搜索重要数据日志。工作原理如下所示:
在需要收集日志的所有服务上部署logstash,作为logstashagent(logstashshipper)用于监控并过滤收集日志,将过滤后的内容发送到logstashindexer,logstashindexer将日志收集在一起交给全文搜索服务,可以用进行自定义搜索通过Kibana来结合自定义搜索进行页面展示。
四大组件:
Logstash:logstashserver端用来搜集日志;
:存储各类日志;
Kibana:web化接口用作查寻和可视化日志;
LogstashForwarder:logstashclient端用来通过lumberjack网络协议发送日志到logstashserver;
网络安全可视化之所以重要,可以从现实生活中的安全可视化进行类比。现实世界中,平安城市、雪亮工程等治安防控工程中,关于视频监控系统的可视化方面建设都十分突出,其意义体现在以下方面:预警
通过对全局地区的可视化监控,可以进行针对性的人流量分析、人脸识别、信息采集等早期管理手段,通过这些手段能够进行早期预警,将安全问题控制在萌芽状态,做到防患于未然。
调度
在可视化平台的支撑下,一旦发生了安全隐患,可以通过多个区域的同时观测,及时地完成指挥调度和资源调配,对于问题严重的区域进行重点布防。
回放
在安全相关案件调查取证过程中,监控录像回放起到重要的作用,即使犯罪过程没有被发现或目标对象离开了布防区域,还是可以通过多个监控录像回放的配合准确定位作案事实和目标移动的路径,为抓捕和侦破提供了第一手材料。
提高犯罪难度和成本
使用以上全方位的可视化手段,结合经验丰富的分析人员,将犯罪的难度和成本变得极高,降低了治安事件发生的风险,即使问题发生也有完善的应对方法。
上述道理在网络安全领域也同样适用,随着攻击行为越来越复杂,APT(高级持续性威胁)、勒索病毒等事件频繁发生,这些攻击不是单点短时间攻击,而是持续时间长达十几个小时甚至几天,有多个复杂的环节组成,对付这些恶意行为,同样需要网络安全领域的可视化技术。
通过对安全路径、流量分析、数据安全、主机安全等多个层面的可视化展现,打造一张网络安全作战地图,同样可以起到以下作用:
攻击预测
通过设定正常访问情况下的路径和流量基线,对发生的异常状况进行及时发现和告警,并通过多个层面的关联分析迅速在攻击的早期解决问题。
路径和流量调度
发现攻击现象后,需要尽快通过可视化手段找出导致攻击的错误路径,并尽快配合流量调度系统将流量通过其它路径转发,再及时关闭错误路径,将攻击者打开的后门尽快关闭。
回溯
对于已经发生了安全事件,就像调取监控录像一样,需要调取事发当时的全部数据报文,通过精细化地分析取证,确保100%还原事件现场。通过多个流量采集器的配合,可以分析出攻击者的轨迹和路径,为追踪攻击者提供了事实依据。
通过网络安全可视化系统的部署,可以缩小攻击面、延长攻击时间、提高攻击者成本和防御成功率,起到震慑、预测、防御、处置、追溯的全方位作用。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)