Redshift同我们前面使用的RDS一样，是一个全托管的服务（非完全的server less，可以选择集群数量和性能，但是无需管理）
Redshift同RDS一样，只需要鼠标点击几下，即可得到一款可用的高性能、高可靠的数据仓库服务。
但是与RDS不同的是，Redshift可以选择集群模式，也就是可以选择Redshift底层，基于多少台硬件服务器提供算力和存储。
同时，从概念上也不同，我们列个表格来看一下Redshift和RDS的区别
那么来看看Redshift有什么特点。
Amazon Redshift 使用了多种创新技术，对于大小在 100GB 到 1PB 或更高的数据集，可以实现很高的查询性能，并使用了列式存储。Amazon Redshift 采用了大规模并行处理 (MPP) 数据仓库架构，可以对 SQL *** 作进行并行分布处理，以便利用所有可用资源。底层硬件支持高性能数据处理，使用本地连接的存储以便尽可能增大 CPU 与驱动器之间的吞吐量，同时使用 10GigE 网状网络以便尽可能增大节点之间的吞吐量。
仅需在 AWS 管理控制台中单击几下或通过一次简单的 API 调用，您就能在性能或容量需求发生变化时，轻松更改云数据仓库中的节点数量或类型。
利用 Amazon Redshift，您只要用单个 160GB DC2.Large 节点就可开始，并能一路扩展到使用 16TB DS2.8XLarge 节点的 1PB 或者更多压缩用户数据。 调整大小时，Amazon Redshift 可将您现有的集群置于只读模式，并预置一个您选定大小的新集群，然后将数据从您的旧集群并行复制到您的新集群。在预置新集群的同时，您可继续对您的旧集群进行查询。一旦您的数据被复制到新集群，Amazon Redshift 会自动将查询重新定向至新集群，并移除旧集群。
Amazon Redshift 处理数据仓库的管理、监控及扩展所需的所有工作，从监控集群运行状况、备份到进行修补和升级。
在性能和容量需求发生变化时，您可以轻松调整集群大小。通过处理所有这些耗时耗力的任务，Amazon Redshift 使您得到了解脱并专注于您的数据和业务。
Amazon Redshift 的自动快照功能连续地将集群上的数据备份至 Amazon S3。备份是连续、递增而自动的。
Amazon Redshift 按用户定义的期间存储您的快照，此期间可以是 1 到 35 天。您可在任何时候拍摄您自己的快照，这些快照利用所有现有的系统快照，并可保留到您明确地删除它们时为止。
Redshift 还能将您的快照异步复制到另一个区域的 S3 中进行灾难恢复。一旦您删除了某个集群，您的系统快照也将被移除，但您的用户快照在您明确地删除它们之前仍可使用。
您可通过 AWS 管理控制台或 Amazon Redshift API 使用任何系统快照或用户快照来恢复您的集群。
系统元数据恢复后，您的集群就可供使用，并且您可在用户数据在后台输出时开始运行查询。
Amazon Redshift 拥有多种能够提高数据仓库集群可靠性的功能。
所有写入集群内节点的数据均会自动复制到集群内的其他节点，且所有数据会被连续备份至 Amazon S3。Amazon Redshift 会持续监控集群的运行状况并会自动从出现故障的驱动器重新复制数据，并在必要时替换节点。
并且这一切完全无需用户管理，AWS为您管理一切，用户只需要关心业务开发即可。
借助 Amazon Redshift，您可以配置防火墙规则，以控制对数据仓库集群的网络访问。您可以在 Amazon Virtual Private Cloud (Amazon VPC) 中运行 Amazon Redshift，将您的数据仓库集群隔离在您自己的虚拟网络中。
Amazon Redshift 与 AWS CloudTrail 相集成，使您能够对所有的 Redshift API 调用进行审计。Amazon Redshift 还会记录所有的 SQL *** 作，包括连接尝试、查询和数据库变动。您可以使用 SQL 查询在系统表格中访问这些记录，或选择将其下载到 Amazon S3 上的某个位置。
Amazon Redshift 是一种 SQL 数据仓库解决方案，使用了行业标准的 ODBC 和 JDBC 连接。可以从控制台的连接客户端选项卡中下载我们的定制 JDBC 和 ODBC 驱动程序。
Amazon Redshift 与其他 AWS 服务相集成，并内置了命令将数据从 Amazon S3、Amazon DynamoDB 或 Amazon EC2 实例以及使用 SSH 的本地服务器中并行加载到每个节点。Amazon Kinesis 还集成了 Amazon Redshift 作为数据目标。
一项对2021年数据泄露的分析显示，总共有50亿份数据被泄露，这对所有参与大数据管道工作的人来说，从开发人员到DevOps工程师，安全性与基础业务需求同等重要。
大数据安全是指在存储、处理和分析过于庞大和复杂的数据集时，采用任何措施来保护数据免受恶意活动的侵害，传统数据库应用程序无法处理这些数据集。大数据可以混合结构化格式(组织成包含数字、日期等的行和列)或非结构化格式(社交媒体数据、PDF 文件、电子邮件、图像等)。不过，估计显示高达90%的大数据是非结构化的。
大数据的魅力在于，它通常包含一些隐藏的洞察力，可以改善业务流程，推动创新，或揭示未知的市场趋势。由于分析这些信息的工作负载通常会将敏感的客户数据或专有数据与第三方数据源结合起来，因此数据安全性至关重要。声誉受损和巨额经济损失是大数据泄露和数据被破坏的两大主要后果。
在确保大数据安全时，需要考虑三个关键阶段:
当数据从源位置移动到存储或实时摄取(通常在云中)时，确保数据的传输
保护大数据管道的存储层中的数据(例如Hadoop分布式文件系统)
确保输出数据的机密性，例如报告和仪表板，这些数据包含通过Apache Spark等分析引擎运行数据收集的情报
这些环境中的安全威胁类型包括不适当的访问控制、分布式拒绝服务(DDoS)攻击、产生虚假或恶意数据的端点，或在大数据工作期间使用的库、框架和应用程序的漏洞。
由于所涉及的架构和环境复杂性，大数据安全面临着许多挑战。在大数据环境中，不同的硬件和技术在分布式计算环境中相互作用。比如：
像Hadoop这样的开源框架在设计之初并没有考虑到安全性
依赖分布式计算来处理这些大型数据集意味着有更多的系统可能出错
确保从端点收集的日志或事件数据的有效性和真实性
控制内部人员对数据挖掘工具的访问，监控可疑行为
运行标准安全审计的困难
保护非关系NoSQL数据库
这些挑战是对保护任何类型数据的常见挑战的补充。
静态数据和传输中数据的可扩展加密对于跨大数据管道实施至关重要。可扩展性是这里的关键点，因为除了NoSQL等存储格式之外，需要跨分析工具集及其输出加密数据。加密的作用在于，即使威胁者设法拦截数据包或访问敏感文件，实施良好的加密过程也会使数据不可读。
获得访问控制权可针对一系列大数据安全问题提供强大的保护，例如内部威胁和特权过剩。基于角色的访问可以帮助控制对大数据管道多层的访问。例如，数据分析师可以访问分析工具，但他们可能不应该访问大数据开发人员使用的工具，如ETL软件。最小权限原则是访问控制的一个很好的参考点，它限制了对执行用户任务所必需的工具和数据的访问。
大数据工作负载所需要的固有的大存储容量和处理能力使得大多数企业可以为大数据使用云计算基础设施和服务。但是，尽管云计算很有吸引力，暴露的API密钥、令牌和错误配置都是云中值得认真对待的风险。如果有人让S3中的AWS数据湖完全开放，并且对互联网上的任何人都可以访问，那会怎么样?有了自动扫描工具，可以快速扫描公共云资产以寻找安全盲点，从而更容易降低这些风险。
在复杂的大数据生态系统中，加密的安全性需要一种集中的密钥管理方法，以确保对加密密钥进行有效的策略驱动处理。集中式密钥管理还可以控制从创建到密钥轮换的密钥治理。对于在云中运行大数据工作负载的企业，自带密钥 (BYOK) 可能是允许集中密钥管理而不将加密密钥创建和管理的控制权交给第三方云提供商的最佳选择。
在大数据管道中，由于数据来自许多不同的来源，包括来自社交媒体平台的流数据和来自用户终端的数据，因此会有持续的流量。网络流量分析提供了对网络流量和任何潜在异常的可见性，例如来自物联网设备的恶意数据或正在使用的未加密通信协议。
2021年的一份报告发现，98%的组织感到容易受到内部攻击。在大数据的背景下，内部威胁对敏感公司信息的机密性构成严重风险。有权访问分析报告和仪表板的恶意内部人员可能会向竞争对手透露见解，甚至提供他们的登录凭据进行销售。从内部威胁检测开始的一个好地方是检查常见业务应用程序的日志，例如 RDP、VPN、Active Directory 和端点。这些日志可以揭示值得调查的异常情况，例如意外的数据下载或异常的登录时间。
威胁搜寻主动搜索潜伏在您的网络中未被发现的威胁。这个过程需要经验丰富的网络安全分析师的技能组合，利用来自现实世界的攻击、威胁活动的情报或来自不同安全工具的相关发现来制定关于潜在威胁的假设。具有讽刺意味的是，大数据实际上可以通过发现大量安全数据中隐藏的洞察力来帮助改进威胁追踪工作。但作为提高大数据安全性的一种方式，威胁搜寻会监控数据集和基础设施，以寻找表明大数据环境受到威胁的工件。
出于安全目的监视大数据日志和工具会产生大量信息，这些信息通常最终形成安全信息和事件管理(SIEM)解决方案。
用户行为分析比内部威胁检测更进一步，它提供了专门的工具集来监控用户在与其交互的系统上的行为。通常情况下，行为分析使用一个评分系统来创建正常用户、应用程序和设备行为的基线，然后在这些基线出现偏差时进行提醒。通过用户行为分析，可以更好地检测威胁大数据环境中资产的保密性、完整性或可用性的内部威胁和受损的用户帐户。
未经授权的数据传输的前景让安全领导者彻夜难眠，特别是如果数据泄露发生在可以复制大量潜在敏感资产的大数据管道中。检测数据泄露需要对出站流量、IP地址和流量进行深入监控。防止数据泄露首先来自于在代码和错误配置中发现有害安全错误的工具，以及数据丢失预防和下一代防火墙。另一个重要方面是在企业内进行教育和提高认识。
框架、库、软件实用程序、数据摄取、分析工具和自定义应用程序——大数据安全始于代码级别。 无论是否实施了上述公认的安全实践，代码中的安全缺陷都可能导致数据泄漏。 通过在软件开发生命周期中检测自研代码及开源组件成分的安全性，加强软件安全性来防止数据丢失。
编译：诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。
像公有云数据湖和 Delta Lake 这样的平台指出了一个中央数据枢纽的趋势，用来支持决策和AI驱动的自动化决策。
数据仓库是否再次加入这股浪潮呢，或者会逐渐消亡？
如果你不清楚这个问题的答案也很正常。数据仓库在一方面目前仍处于热门阶段。笔者作为一个长期的行业观察者，看到了在不断创新和创业活动浪潮下行业的快速发展。
这种趋势基本上始于十年前标准设备进入数据仓库主流，然后随着市场向新一代云数仓转移逐渐获得了新动力。在过去几年中，一个云数仓供应商（Snowflake） 在市场上获得了非常多的支持。
但在另一方面，数据仓库也不断被行业中的新事物所冲击，例如大数据、机器学习和人工智能。这种趋势造成了数据仓库在企业IT优先级下降的印象，但事实上大多数组织至少有一个或者多个数据仓库服务于各种下游应用程序。
数据仓库一直作为企业核心工作服务，是几年前我觉得数据仓库远未消亡的原因，这也可能解释了为什么其他观察者认为他们必须重新定义数据仓库的概念，以使其在数据湖和云计算时代保持相关性。
许多人认为“数据湖”正在迅速发展成为下一代数据仓库。对于那些不熟悉这个概念的人来说，数据湖是多结构数据的系统或存储库，它们以原始格式和模式存储，通常作为对象“blob”或文件存储。
数据湖通常用作所有企业数据的单个存储，包括源系统数据的原始副本和用于生成报告，可视化，数据分析和机器学习等任务的转换数据。它们包含分布式文件或对象存储，机器学习模型库以及高度并行化的处理和存储资源集群。并且，数据库通常在读取时使用模式，并使用统计模型从中提取有意义的相关性和模式，而不是对它们存储的对象强制执行通用模式和语义。
这些都与Inmon和Kimball核心概念不一致，这些概念为大多数专业人员的数据仓库方法提供了信息。从根本上说，一个数据仓库主要用来聚合，保留和管理官方认可的“单一版本的真实”数据记录。此概念与所管理数据的特定应用程序域以及使用它的特定用例无关。
如果你怀疑我在那个分数上说的话，请看看Bill Inmon对数据仓库的定义以及Inmon和Ralph Kimball框架的比较。数据仓库通常都是关于数据驱动的决策支持，这使得它可以很好地扩展到AI驱动的推理的新世界。
在过去的一年中，一些备受瞩目的行业公告标志着数据仓库角色的转变。尽管决策支持（也称为商业智能，报告和在线分析处理）仍然是大多数数据仓库的核心用例，但我们看到了其向决策自动化的稳步转变。换句话说，数据仓库现在正支持着数据科学管道，为数据驱动的推理构建了机器学习应用程序。
新一代数据仓库实际上是数据湖，对那些用于构建和训练机器学习模型的清洗，整合和验证的数据进行管理。例如，去年秋天在Amazon re：Invent 大会上，亚马逊网络服务公布了AWS Lake Formation。这种新的托管服务的明确目的是简化和加速安全数据湖的设置。然而，AWS Lake Formation 拥有云数据仓库的所有特点，尽管AWS并没有这样称呼它，实际上已经提供了一个面向决策支持应用程序的经典数据仓库。
AWS Lake Formation的架构和功能类似于数据仓库。实际上，AWS以这种方式来描述它：“数据湖是一个集中的，策划的和安全的存储库，它以原始形式存储所有数据并为分析做好准备。通过数据湖，您可以分解数据孤岛并组合不同类型的分析，以获商业洞察力并指导更好的业务决策。“
另一个例子是 Databricks 最近宣布的 Delta Lake开源项目。 Delta Lake的明确目的（现在可以在Apache 2.0许可下使用）类似于AWS Lake格式：通过对数据湖中维护的数据集的聚合，清洗，管理和治理，以支持机器学习。
Delta Lake 位于现有的内部部署或云数据存储平台之上，可以从Apache Spark访问，例如HDFS，Amazon S3或Microsoft Azure blob存储。 Delta Lake将数据存储在Parquet中，以提供Databricks所称的“事务存储层”.Parquet是一种开源的列式存储格式，无论数据处理框架的选择如何，都可用于Hadoop生态系统中的任何项目。它通过乐观并发可串行化，快照隔离，数据版本控制，回滚和模式实施来支持ACID事务。
Delta Lake和AWS Lake Formation之间的一个关键区别是 Delta Lake 处理该管道中的批量和流数据。另一个是Delta Lake支持所有数据的ACID事务，允许数百个应用程序同时进行多次写入和读取。此外，开发人员可以访问每个Delta Lake的早期版本，以进行审计，回滚或重现其MLFlow机器学习实验的结果。
在最广泛的层面上，Delta Lake似乎与使用最广泛的开源数据仓库项目 Apache Hive 竞争，尽管 Hive 完全依赖基于 HDFS 的存储，并且直到最近才解决对ACID交易的支持。Hive 3一年前被宣布终于为基于Hadoop的数据仓库提供ACID支持。 Hive 3使用delta文件为事务CRUD（创建读取更新删除）表提供 *** 作的原子性和快照隔离。
这些最近的行业公告 - AWS Lake Formation，Delta Lake和Hive 3预测是数据湖成为所有决策支持和决策自动化应用以及所有交易数据应用的治理中心的日子。为了加速这些趋势，Hive 3和Delta Lake等开源项目需要在供应商和用户之间获得更广泛的吸引力。
“数据仓库”这一术语可能主要指的是商业智能结构化数据的受管理的多域存储。但是，底层数据平台将继续发展，为基于云的人工智能管道提供核心数据治理基础。
AI而非BI正在推动企业数据仓库的发展。
作者：EMR
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）