。一项对2021年数据泄露的分析显示,总共有50亿份数据被泄露,这对所有参与大数据管道工作的人来说,从开发人员到DevOps工程师,安全性与基础业务需求同等重要。
大数据安全是指在存储、处理和分析过于庞大和复杂的数据集时,采用任何措施来保护数据免受恶意活动的侵害,传统数据库应用程序无法处理这些数据集。大数据可以混合结构化格式(组织成包含数字、日期等的行和列)或非结构化格式(社交媒体数据、PDF 文件、电子邮件、图像等)。不过,估计显示高达90%的大数据是非结构化的。
大数据的魅力在于,它通常包含一些隐藏的洞察力,可以改善业务流程,推动创新,或揭示未知的市场趋势。由于分析这些信息的工作负载通常会将敏感的客户数据或专有数据与第三方数据源结合起来,因此数据安全性至关重要。声誉受损和巨额经济损失是大数据泄露和数据被破坏的两大主要后果。
在确保大数据安全时,需要考虑三个关键阶段:
当数据从源位置移动到存储或实时摄取(通常在云中)时,确保数据的传输
保护大数据管道的存储层中的数据(例如Hadoop分布式文件系统)
确保输出数据的机密性,例如报告和仪表板,这些数据包含通过Apache Spark等分析引擎运行数据收集的情报
这些环境中的安全威胁类型包括不适当的访问控制、分布式拒绝服务(DDoS)攻击、产生虚假或恶意数据的端点,或在大数据工作期间使用的库、框架和应用程序的漏洞。
由于所涉及的架构和环境复杂性,大数据安全面临着许多挑战。在大数据环境中,不同的硬件和技术在分布式计算环境中相互作用。比如:
像Hadoop这样的开源框架在设计之初并没有考虑到安全性
依赖分布式计算来处理这些大型数据集意味着有更多的系统可能出错
确保从端点收集的日志或事件数据的有效性和真实性
控制内部人员对数据挖掘工具的访问,监控可疑行为
运行标准安全审计的困难
保护非关系NoSQL数据库
这些挑战是对保护任何类型数据的常见挑战的补充。
静态数据和传输中数据的可扩展加密对于跨大数据管道实施至关重要。可扩展性是这里的关键点,因为除了NoSQL等存储格式之外,需要跨分析工具集及其输出加密数据。加密的作用在于,即使威胁者设法拦截数据包或访问敏感文件,实施良好的加密过程也会使数据不可读。
获得访问控制权可针对一系列大数据安全问题提供强大的保护,例如内部威胁和特权过剩。基于角色的访问可以帮助控制对大数据管道多层的访问。例如,数据分析师可以访问分析工具,但他们可能不应该访问大数据开发人员使用的工具,如ETL软件。最小权限原则是访问控制的一个很好的参考点,它限制了对执行用户任务所必需的工具和数据的访问。
大数据工作负载所需要的固有的大存储容量和处理能力使得大多数企业可以为大数据使用云计算基础设施和服务。但是,尽管云计算很有吸引力,暴露的API密钥、令牌和错误配置都是云中值得认真对待的风险。如果有人让S3中的AWS数据湖完全开放,并且对互联网上的任何人都可以访问,那会怎么样有了自动扫描工具,可以快速扫描公共云资产以寻找安全盲点,从而更容易降低这些风险。
在复杂的大数据生态系统中,加密的安全性需要一种集中的密钥管理方法,以确保对加密密钥进行有效的策略驱动处理。集中式密钥管理还可以控制从创建到密钥轮换的密钥治理。对于在云中运行大数据工作负载的企业,自带密钥 (BYOK) 可能是允许集中密钥管理而不将加密密钥创建和管理的控制权交给第三方云提供商的最佳选择。
在大数据管道中,由于数据来自许多不同的来源,包括来自社交媒体平台的流数据和来自用户终端的数据,因此会有持续的流量。网络流量分析提供了对网络流量和任何潜在异常的可见性,例如来自物联网设备的恶意数据或正在使用的未加密通信协议。
2021年的一份报告发现,98%的组织感到容易受到内部攻击。在大数据的背景下,内部威胁对敏感公司信息的机密性构成严重风险。有权访问分析报告和仪表板的恶意内部人员可能会向竞争对手透露见解,甚至提供他们的登录凭据进行销售。从内部威胁检测开始的一个好地方是检查常见业务应用程序的日志,例如 RDP、、Active Directory 和端点。这些日志可以揭示值得调查的异常情况,例如意外的数据下载或异常的登录时间。
威胁搜寻主动搜索潜伏在您的网络中未被发现的威胁。这个过程需要经验丰富的网络安全分析师的技能组合,利用来自现实世界的攻击、威胁活动的情报或来自不同安全工具的相关发现来制定关于潜在威胁的假设。具有讽刺意味的是,大数据实际上可以通过发现大量安全数据中隐藏的洞察力来帮助改进威胁追踪工作。但作为提高大数据安全性的一种方式,威胁搜寻会监控数据集和基础设施,以寻找表明大数据环境受到威胁的工件。
出于安全目的监视大数据日志和工具会产生大量信息,这些信息通常最终形成安全信息和事件管理(SIEM)解决方案。
用户行为分析比内部威胁检测更进一步,它提供了专门的工具集来监控用户在与其交互的系统上的行为。通常情况下,行为分析使用一个评分系统来创建正常用户、应用程序和设备行为的基线,然后在这些基线出现偏差时进行提醒。通过用户行为分析,可以更好地检测威胁大数据环境中资产的保密性、完整性或可用性的内部威胁和受损的用户帐户。
未经授权的数据传输的前景让安全领导者彻夜难眠,特别是如果数据泄露发生在可以复制大量潜在敏感资产的大数据管道中。检测数据泄露需要对出站流量、IP地址和流量进行深入监控。防止数据泄露首先来自于在代码和错误配置中发现有害安全错误的工具,以及数据丢失预防和下一代防火墙。另一个重要方面是在企业内进行教育和提高认识。
框架、库、软件实用程序、数据摄取、分析工具和自定义应用程序——大数据安全始于代码级别。 无论是否实施了上述公认的安全实践,代码中的安全缺陷都可能导致数据泄漏。 通过在软件开发生命周期中检测自研代码及开源组件成分的安全性,加强软件安全性来防止数据丢失。当前,企业面临的五大IT威胁包括了恶意软件感染、安全漏洞、违规 *** 作,以及针对邮箱帐户的网络钓鱼。而物联网技术的普及也会破坏现有的IT风险管理机制。
在技术公司MetricStream对20个行业的120多家企业展开的全球调查中发现,近一半(44%)的大型企业认为未来三年物联网(IoT)技术在干扰IT风险管理项目方面具有相当大的隐患。
由于可连网设备大量普及,各个网络连接设备的管理程序并不统一,许多管理员在做物联网设备的管理架构时很容易忽视物联网的互通、完整以及安全协作层面的考量。
此外,除了简单的可见性之外,连接设备的软件开发混乱状态可能是最大的具体安全问题,不仅一些设备开始不安全,即使制造商发布补丁的缺陷,也可能难以分发和应用于有组织的方式 许多人根本不修补,因为正在进行的软件开发根本不在特定类型的设备的预算中。
虽然一般来说,IT GRC访问控制解决方案可以通过自动化工作流程,及时提供风险情报来指导决策,来增加网络防护能力。但政策、培训计划和信息治理框架都同样重要。
因此,要防范此前美国信用评级机构Equifax遭受到的网络攻击,显然要企业拥有全面、灵活的IT风险管理策略才能应对。具体可以展开以下策略:
1、对于这些新兴的联网设备,哪些位置需要安全控制,以及如何部署有效地控制。鉴于这些设备的多样性,企业将需要进行自定义风险评估,以发现有哪些风险以及如何控制这些风险。
2、企业必须能够识别IoT设备上的合法和恶意流量模式,并快速了解如何快速修复IoT设备漏洞以及如何优先排序漏洞修复工作。
3、企业还应该隔离IoT设备到vLAN或独立的网段进行有效监管。
以上由物联传媒整理提供,如有侵权联系删除传统防火墙只是针对一些底层(网络层、传输层)的信息进行阻断,而WEB应用防火墙则深入到应用层,对所有应用信息进行过滤,这是WEB应用防火墙和传统防火墙的本质区别。
防火墙,又称防护墙、火墙,是由吉尔·舍伍德于1993年发明并引入国际互联网的网络安全系统。其功能主要包括及时发现并处理计算机网络运行时潜在的安全风险、数据传输等问题,同时可对计算机网络安全当中的各项 *** 作实施记录与检测,以确保计算机网络正常运行。
简单来说,就是各种事物通过网络数据信号联系起来,就是物物相连的互联网。
把任何物品与互联网相连接,进行信息交换和通信,以实现对物品的智能化识别、定位、跟踪、监控和
管理的一种网络。
例如:
1大数据:加强食品与消费者之间的联系。
食品安全风险管理领域,从生产到流通,涉及到食品链的各个环节拥有着庞大的数据资源。
运用电脑编程(有对数据进行运算处理的程序),有效、适时应用大数据,让我们从这些数据中分析出很多有价值的信息,从而正确应对食品安全问题。
不论是农产品或是加工食品,为了提升品牌竞争力都寻求构建自身的食品安全追溯平台。而在食品安全追溯过程中会产生大量的数据,这些数据成为企业的隐形资产,其核心价值会在合理应用后才会有所体现。
2运用程序软件和各种识别,探测技术对物理信息(yhk等)进行识别处理,和信息交互(动车票的购买)。
物联网技术在道路交通方面的应用比较成熟。
随着社会车辆越来越普及,交通拥堵甚至瘫痪已成为城市的一大问题。对道路交通状况实时监控并将信息及时传递给驾驶人,让驾驶人及时作出出行调整,有效缓解了交通压力;高速路口设置道路自动收费系统(简称ETC),免去进出口取卡、还卡的时间,提升车辆的通行效率;公交车上安装定位系统,能及时了解公交车行驶路线及到站时间,乘客可以根据搭乘路线确定出行,免去不必要的时间浪费。 社会车辆增多,除了会带来交通压力外,停车难也日益成为一个突出问题,不少城市推出了智慧路边停车管理系统,该系统基于云计算平台,结合物联网技术与移动支付技术,共享车位资源,提高车位利用率和用户的方便程度。
部分内容来自:百度百科
维克号
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)