大数据信息安全分析

大数据信息安全分析

企业和其他组织一直在充满敌意的信息安全环境中运行，在这个环境中，计算和存储资源成为攻击者使用入侵系统进行恶意攻击的目标。其中，个人机密信息被窃取，然后被放在地下市场出售，而国家支持的攻击导致大量数据泄露。在这种情况下，一个企业需要部署大数据安全性分析工具

来保护有价值的公司资源。

信息安全的很大一部分工作是监控和分析服务器、网络和其他设备上的数据。如今大数据分析方面的进步也已经应用于安防监控中，并且它们可被用于实现更广泛和更深入的分析。它们与传统的信息安全分析存在显著的差异，本文将从两个方面分别介绍大数据安全分析的新的特点，以及企业在选择大数据分析技术时需要考虑的关键因素。

大数据安全分析的特征

在许多方面，大数据安全分析是[安全信息和事件管理security information and event management ，SIEM)及相关技术的延伸。虽然只是在分析的数据量和数据类型方面存在量的差异，但对从安全设备和应用程序提取到的信息类型来说，却导致了质的差异。

大数据安全分析工具通常包括两种功能类别：SIEM，以及性能和可用性监控(PAM)。SIEM工具通常包括日志管理、事件管理和行为分析，以及数据库和应用程序监控。而PAM工具专注于运行管理。然而，大数据分析工具比纯粹地将SIEM和PAM工具放在一起要拥有更多的功能它们的目的是实时地收集、整合和分析大规模的数据，这需要一些额外的功能。

与SIEM一样，大数据分析工具具有在网络上准确发现设备的能力。在一些情况下，一个配置管理数据库可以补充和提高自动收集到的数据的质量。此外，大数据分析工具还必须能够与LDAP或ActiveDirectory服务器，以及其他的第三方安全工具进行集成。对事件响应工作流程的支持对于SIEM工具可能并不是非常重要，但是当日志和其他来源的安全事件数据的的数据量非常大时，这项功能就必不可少了。

大数据信息安全分析与其他领域的安全分析的区别主要表现在五个主要特征。

主要特性1：可扩展性

大数据分析其中的一个主要特点是可伸缩性。这些平台必须拥有实时或接近实时的数据收集能力。网络流通是一个不间断的数据包流，数据分析的速度必须要和数据获取的速度一样快。 该分析工具不可能让网络流通暂停来赶上积压的需要分析的数据包。

大数据的安全分析不只是用一种无状态的方式检查数据包或进行深度数据包分析，对这个问题的理解是非常重要的。虽然这些都是非常重要和必要的，但是具备跨越时间和空间的事件关联能力是大数据分析平台的关键。这意味着只需要一段很短的时间，一个设备(比如web服务器)上记录的事件流，可以明显地与一个终端用户设备上的事件相对应。

主要特性2：报告和可视化

大数据分析的另一个重要功能是对分析的报告和支持。安全专家早就通过报表工具来支持业务和合规性报告。他们也有通过带预配置安全指标的仪表板来提供关键性能指标的高层次概述。虽然现有的这两种工具是必要的，但不足以满足大数据的需求。

对安全分析师来说，要求可视化工具通过稳定和快速的识别方式将大数据中获得的信息呈现出来。例如，Sqrrl使用可视化技术，能够帮助分析师了解相互连接的数据(如网站，用户和HTTP交易信息)中的复杂关系。

主要特性3：持久的大数据存储

大数据安全分析名字的由来，是因为区别于其他安全工具，它提供了突出的存储和分析能力。大数据安全分析的平台通常采用大数据存储系统，例如Hadoop分布式文件系统(HDFS)和更长的延迟档案储存，以及后端处理，以及一个行之有效的批处理计算模型MapReduce。但是MapReduce并不一定是非常有效的，它需要非常密集的I / O支出。一个流行工具Apache Spark可以作为MapReduce的替代，它是一个更广义的处理模型，相比MapReduce能更有效地利用内存。

大数据分析系统，如MapReduce和Spark，解决了安全分析的计算需求。同时，长时持久存储通常还取决于关系或NoSQL数据库。例如，SplunkHunk平台支持在Hadoop和NoSQL数据库之上的分析和可视化。该平台位于一个组织的非关系型数据存储与应用环境的其余部分之间。Hunk应用直接集成了数据存储，不需要被转移到二级内存存储。Hunk平台包括用于分析大数据的一系列工具。它支持自定义的仪表板和Hunk应用程序开发，它可以直接构建在一个HDFS环境，以及自适应搜索和可视化工具之上。

大数据安全分析平台的另一个重要特点是智能反馈，在那里建立了漏洞数据库以及安全性博客和其他新闻来源，潜在的有用信息能够被持续更新。大数据安全平台可从多种来源提取数据，能够以它们自定义的数据收集方法复制威胁通知和关联信息。

主要特性4：信息环境

由于安全事件产生这么多的数据，就给分析师和其他信息安全专业人员带来了巨大的风险，限制了他们辨别关键事件的能力。有用的大数据安全分析工具都在特定用户、设备和时间的环境下分析数据。

没有这种背景的数据是没什么用的，并且会导致更高的误报率。背景信息还改善了行为分析和异常检测的质量。背景信息可以包括相对静态的信息，例如一个特定的雇员在特定部门工作。它还可以包括更多的动态信息，例如，可能会随着时间而改变的典型使用模式。例如，周一早晨有大量对数据仓库的访问数据是很正常的，因为管理者需要进行一些临时查询，以便更好地了解周报中描述的事件。

主要特性5：功能广泛性

大数据安全分析的最后一个显著特征是它的功能涵盖了非常广泛的安全领域。当然，大数据分析将收集来自终端设备的数据，可能是通过因特网连接到TCP或IP网络的任何设备，包括笔记本电脑、智能手机或任何物联网设备。除了物理设备和虚拟服务器，大数据安全分析必须加入与软件相关的安全性。例如，脆弱性评估被用于确定在给定的环境中的任何可能的安全漏洞。网络是一个信息和标准的丰富来源，例如Cisco开发的NetFlow网络协议，其可以被用于收集给定网络上的流量信息。

大数据分析平台，也可以使用入侵检测产品分析系统或环境行为，以发现可能的恶意活动。

大数据安全分析与其他形式的安全分析存在质的不同。需要可扩展性，需要集成和可视化不同类型数据的工具，环境信息越来越重要，安全功能的广泛性，其让导致供应商应用先进的数据分析和存储工具到信息安全中。

如何选择合适的大数据安全分析平台

大数据安全分析技术结合了先进的安全事件分析功能和事故管理系统功能(SIEM)，适用于很多企业案例，但不是全部。在投资大数据分析平台之前，请考虑公司使用大数据安全系统的组织的能力水平。这里需要考虑几个因素，从需要保护的IT基础设施，到部署更多安全控制的成本和益处。

基础设施规模

拥有大量IT基础设施的组织是大数据安全分析主要候选者。应用程序、 *** 作系统和网络设备都可以捕获到恶意活动的痕迹。单独一种类型的数据不能提供足够的证据来标识活动的威胁，多个数据源的组合可以为一个攻击的状态提供更全面的视角。

现有的基础设施和安全控制生成了原始数据，但是大数据分析应用程序不需要收集、采集和分析所有的信息。在只有几台设备，而且网络结构不是很复杂的环境中，大数据安全分析可能并不是十分必要，在这种情况下，传统的SEIM可能已经足够。

近实时监控

驱动大数据安全分析需求的另一个因素是近实时采集事故信息的必要性。在一些保存着高价值数据、同时又容易遭受到严重攻击的环境中，实时监控尤为重要，如金融服务、医疗保健、政府机构等。

最近Verizon的研究发现，在60%的事件，攻击者能够在几分钟内攻克系统，但几天内检测到漏洞的比例也很低。减少检测时间的一种方法是从整个基础设施中实时地收集多样数据，并立即筛选出与攻击事件有关的数据。这是一个大数据分析的关键用例。

详细历史数据

尽管尽了最大努力，在一段时间内可能检测不到攻击。在这种情况下，能够访问历史日志和其它事件数据是很重要的。只要有足够的数据可用，取证分析可以帮助识别攻击是如何发生的。

在某些情况下，取证分析不需要确定漏洞或纠正安全弱点。例如，如果一个小企业受到攻击，最经济有效的补救措施可能雇安全顾问来评估目前的配置和做法，并提出修改建议。在这种情况下，并不需要大数据安全分析。其他的安全措施就可能很有效，而且价格便宜。

本地vs云基础架构

顾名思义，大数据安全分析需要收集和分析大量各种类型的数据。如捕获网络上的所有流量的能力，对捕获安全事件信息的任何限制，都可能对从大数据安全分析系统获得的信息的质量产生严重影响。这一点在云环境下尤其突出。

云提供商限制网络流量的访问，以减轻网络攻击的风险。例如，云计算客户不能开发网段来收集网络数据包的全面数据。前瞻性的大数据安全分析用户应该考虑云计算供应商是如何施加限制来遏制分析范围的。

有些情况下，大数据安全分析对云基础设施是有用的，但是，特别是云上有关登录生成的数据。例如，亚马逊Web服务提供了性能监控服务，称为CloudWatch的，和云API调用的审计日志，称为CloudTrail。云上的 *** 作数据可能不会和其他数据源的数据一样精细，但它可以补充其他数据源。

利用数据的能力

大数据安全分析摄取和关联了大量数据。即使当数据被概括和聚集的时候，对它的解释也可能是很有挑战性的。从大数据分析产生的信息的质量，部分上讲是分析师解释数据能力的一项指标。当企业与安全事件扯上关系的时候，它们需要那些能够切断攻击链路，以及理解网络流量和 *** 作系统事件的安全分析师。

例如，分析师可能会收到一个数据库服务器上有关可疑活动的警报。这很可能不是一个攻击的第一步。分析师是否可以启动一个警报，并通过导航历史数据找到相关事件来确定它是否确实是一个攻击?如果不能，那么该组织并没有意识到大数据安全分析平台带来的好处。

其他安全控制

企业在投身大数据安全分析之前，需要考虑它们在安全实践方面的整体成熟度。也就是说，其他更便宜和更为简单的控制应该放在第一位。

应该定义、执行和监测清晰的身份和访问管理策略。例如， *** 作系统和应用程序应该定期修补。在虚拟环境的情况下，机器图像应定期重建，以确保最新的补丁被并入。应该使用警报系统监视可疑事件或显著的环境变化(例如服务器上增加了一个管理员帐户)。应当部署web应用防火墙来减少注入攻击的风险和其他基于应用程序的威胁。

大数据安全分析的好处可能是巨大的，尤其是当部署到已经实现了全面的防御战略的基础设施。

大数据安全分析商业案例

大数据安全分析是一项新的信息安全控制技术。这些系统的主要用途是合并来自于多个来源的数据，并减少手动集成解决方案的需求。同时还解决了其他安全控制存在的不足，例如跨多个数据源查询困难。通过捕获来自于多个来源的数据流，大数据分析系统提高了收集取证重要细节的机会。

噪声数据随着经济和信息技术的不断发展，许多企业开始引入了ERP等系统，这些系统使得企业的众多活动数据可以实时记录，形成了大量有关企业经营管理的数据仓库。从这些海量数据中获取有用的审计数据是目前计算机审计的一个应用。接下来我为你带来基于大数据审计的信息安全日志分析法，希望对你有帮助。

大数据信息安全日志审计分析方法

1．海量数据采集。

大数据采集过程的主要特点和挑战是并发数高，因此采集数据量较大时，分析平台的接收性能也将面临较大挑战。大数据审计平台可采用大数据收集技术对各种类型的数据进行统一采集，使用一定的压缩及加密算法，在保证用户数据隐私性及完整性的前提下，可以进行带宽控制。

2．数据预处理。

在大数据环境下对采集到的海量数据进行有效分析，需要对各种数据进行分类，并按照一定的标准进行归一化，且对数据进行一些简单的清洗和预处理工作。对于海量数据的预处理，大数据审计平台采用新的技术架构，使用基于大数据集群的分布式计算框架，同时结合基于大数据集群的复杂事件处理流程作为实时规则分析引擎，从而能够高效并行地运行多种规则，并能够实时检测异常事件。

3．统计及分析。

按照数据分析的实时性，分为实时数据分析和离线数据分析。大数据平台在数据预处理时使用的分布式计算框架Storm就非常适合对海量数据进行实时的统计计算，并能够快速反馈统计结果。Storm框架利用严格且高效的事件处理流程保证运算时数据的准确性，并提供多种实时统计接口以使用。

4．数据挖掘。

数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识，所以它所得到的信息具有未知、有效、实用三个特征。与传统统计及分析过程不同的是，大数据环境下的数据挖掘一般没有预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测的效果，并进一步实现一些高级别数据分析的需求。

大数据分析信息安全日志的解决方案

统一日志审计与安全大数据分析平台能够实时不间断地将用户网络中来自不同厂商的安全设备、网络设备、主机、 *** 作系统、数据库系统、用户业务系统的日志和警报等信息汇集到管理中心，实现全网综合安全审计；同时借助大数据分析和挖掘技术，通过各种模型场景发现各种网络行为、用户异常访问和 *** 作行为。

1．系统平台架构。

以国内某大数据安全分析系统为例，其架构包括大数据采集平台、未知威胁感知系统、分布式实时计算系统(Storm)、复杂事件处理引擎(Esper)、Hadoop平台、分布式文件系统(HDFS)、分布式列数据库(Hbase)、分布式并行计算框架(Map／Reduce、Spark)、数据仓库(Hive)、分布式全文搜索引擎(ElasticSearch)、科学计算系统(Euler)。这些技术能够解决用户对海量事件的采集、处理、分析、挖掘和存储的需求。

如图1所示，系统能够实时地对采集到的不同类型的信息进行归一化和实时关联分析，通过统一的控制台界面进行实时、可视化的呈现，协助安全管理人员迅速准确地识别安全事件，提高工作效率。

2．实现功能。

系统能够实现的功能包括：审计范围覆盖网络环境中的全部网络设备、安全设备、服务器、数据库、中间件、应用系统，覆盖200多种设备和应用中的上万类日志，快速支持用户业务系统日志审计；系统收集企业和组织中的所有安全日志和告警信息，通过归一化和智能日志关联分析引擎，协助用户准确、快速地识别安全事故；通过系统的'安全事件并及时做出安全响应 *** 作，为用户的网络环境安全提供保障；通过已经审计到的各种审计对象日志，重建一段时间内可疑的事件序列，分析路径，帮助安全分析人员快速发现源；整个Hadoop的体系结构主要通过分布式文件系统(HDFS)来实现对分布式存储的底层支持。

3．应用场景。

上述系统可解决传统日志审计无法实现的日志关联分析和智能定位功能。如在企业的网络系统中，大范围分布的网络设备、安全设备、服务器等实时产生的日志量非常大，要从其中提取想要的信息非常困难，而要从设备之间的关联来判断设备故障也将是一大难点。例如，某企业定位某设备与周围直连设备的日志消息相关联起来判断该设备是否存在异常或故障，如对于其中一台核心交换机SW1，与之直连的所有设备如果相继报接口down的日志，则可定位该设备SWl为故障设备，此时应及时做出响应。而传统数据难以通过周围设备的关联告警来定位该故障，大数据审计平台则是最好的解决方法。

大数据分析方法可以利用实体关联分析、地理空间分析和数据统计分析等技术来分析实体之间的关系，并利用相关的结构化和非结构化的信息来检测非法活动。对于集中存储起来的海量信息，可以让审计人员借助历史分析工具对日志进行深度挖掘、调查取证、证据保全。

---