数据压缩技术分为哪两类?使用方法是什么?

【导读】数据压缩技术是大数据传输过程中需要采用的一种数据存储方法。那么数据压缩技术分为哪两类?使用方法是什么呢?为此小编今天就来和大家细细聊聊关于数据压缩技术那些事，同时也提醒各位大数据工程师在使用数据压缩过程中的一些注意事项及使用方法。

在数据压缩中，通过使用比原始数据更少的位来对数据进行编码，数据压缩有两种方法：无损压缩，它消除了冗余但不丢失任何原始数据有损数据压缩，可通过删除不必要或不太重要的信息来修改数据，在大数据的传输和存储中使用数据压缩非常重要，因为它减少了IT部门必须为该数据提供的网络带宽和存储量，同样重要的是，您实际上并不想保留某些类型的大数据，例如作为物联网(IoT)通信数据一部分的设备间握手引起的抖动。

为了最大程度地利用大数据进行数据压缩，您必须知道何时何地使用不同类型的数据压缩工具和公式。选择数据压缩方法时，请牢记以下几条有用的准则：

何时使用无损数据压缩

如果您有一个大数据应用程序，并且无法承受丢失任何数据的麻烦，并且需要解压缩压缩的每个字节的数据，那么您将需要一种无损的数据压缩方法，当您压缩来自数据库的数据时，即使您意味着必须存储更多的数据，也希望进行无损数据压缩。在选择将此数据重新提交到其数据库时，您需要解压缩完整数据，以便它可以与数据库端的数据匹配并进行存储。

何时使用有损数据压缩

有时您不需要或不需要所有数据，例如物联网和网络设备的抖动，您不需要这些数据，只需提供给您业务所需的上下文信息的数据即可。第二个示例是在数据压缩过程的前端可能使用的数据压缩公式中使用人工智能(AI)，如果您正在研究一个特定的问题，并且只希望与该问题直接相关的数据，则可以决定让数据压缩公式不包含与该问题无关的任何数据。

如何选择正确的编解码器

一个编解码器是一个硬件，软件的组合，压缩和解压缩数据，所以它在大数据压缩和解压缩 *** 作的核心作用，编解码器有许多种，因此为正确的数据或文件类型选择正确的编解码器很重要，您选择的编解码器类型将取决于您尝试压缩的数据和文件类型，有无损和有损数据的编解码器，也有一些编解码器必须将所有数据文件作为“整体”处理，而其他编解码器可以将数据分割开，以便可以对其进行并行处理，然后在其目的地重新组合，某些编解码器设置用于可视数据，而其他编解码器仅处理音频数据。

为什么数据压缩很重要?

确定将用于大数据的数据压缩类型是大数据 *** 作的重要组成部分，仅在资源端，IT人员就无法承受处理失控和迅速发展的存储的成本，即使必须完整存储数据，也应尽可能地对其进行压缩，也就是说，您可以采取其他步骤来限制存储和处理，以及针对大数据压缩中采用的算法和方法的最适合 *** 作，掌握这些选项是IT部门的关键数据点。

以上就是小编今天给大家整理分享关于“数据压缩技术分为哪两类?使用方法是什么?”的相关内容希望对大家有所帮助。小编认为要想在大数据行业有所建树，需要考取部分含金量高的数据分析师证书，这样更有核心竞争力与竞争资本。

随着数据量的不断海量 CPU的不断强劲 双核四核的叫个不停 一种叫做时间换空间的优化技术应该会越来越流行 所以 数据压缩对于今后的数据库来说 应该会从核武器变成常规武器 Oracle从 i开始羞羞答答的引入表级压缩 一直以来都是像中国的核电站一样 宣传的用处大 论实际的贡献就不怎么样了

Oracle g似乎是正儿八经的要推广数据压缩技术了 专门推出了一个叫做Advance Compression的组件 全面支持普通表压缩 非结构化数据压缩（SecureFile数据压缩） Data Pump数据压缩 以及RMAN备份压缩 数据压缩技术从此名正言顺的登上历史舞台 既然是专门做为一个Option推出 Oracle一定是对该特性相当有信心 所以需要单独为该特性购买License

在Oracle i中虽然引入了表压缩 但是有很大的限制 只能对批量装载 *** 作（比如直接路径装载 CTAS等）涉及的数据进行压缩 普通的DML *** 作的数据是无法压缩的 这应该是对于写 *** 作的压缩难题没有解决 一直遗留到Oracle g 总算是解决了关系数据压缩的写性能问题 Oracle的表压缩是针对Block级别的数据压缩 主要技术和Oracle i差不多 还是在Block中引入symbol表 将block中的重复数据在symbol中用一个项表示 Oracle会对block进行批量压缩 而不是每次在block中写入数据时都进行压缩 通过这种方式 可以尽量降低数据压缩对于DML *** 作的性能影响 这样 在block级别应该会引入一个新的参数 用于控制block中未压缩的数据量达到某个标准以后进行压缩 *** 作

SecureFile也是Oracle g新推出的一项特性 用于存储非结构化数据 SecureFile也将支持数据压缩 *** 作 这样对于传统的LOB字段也可以进行压缩 将极大的减少大型数据库的存储空间需求 当然 有得比有失 压缩和解压时 对于CPU的要求也将更高 但是 目前CPU的发展速度明显比IO和存储空间快速的情况下 压缩是大有可为的技术 通过在压缩率和压缩效率方面的不断提升 以后应该为成为各个数据库的标准配置

除了对数据库中的数据进行压缩 Advance Compression Option还将支持备份数据的压缩 做为逻辑备份的Data Pump和物理备份的RMAN工具 都将支持该技术 在Oracle gR 中 Data Pump已经开始支持压缩源数据 Oracle g中则可以直接压缩导出文件 这样导出的时候就可以极大的减少存储空间的需求 在以前版本中 利用WinRAR等 经常可以将几个G的导出文件压缩到几十M Oracle g的白皮书上说压缩率可以达到 % 等软件出来 大家可以好好的测试一把 同样的 Oracle也在 g中开始引入RMAN的压缩技术 但是Oracle g号称采用了更先进的ZLIB要所算法 可以比Oracle g的压缩算法快上 % 空间需求也将减少 %

除了上述的数据压缩技术 Oracle g Advanced Compression Option还将引入另外一种压缩技术 我们知道在Data Guard中 需要将日志从主库传递到备库 如果主库的事务很多 则单位时间内需要传递的日志量将相当可观 如果能将这些日志压缩后在传递 然后在备库解压后应用 将极大的减少对于网络带宽的需求 从而已减少主备库的时间差

另外 Oracle的bitmap一直就是压缩存储的 g中的bitmap对于 i就有比较大的改动 通过一些细节的完善 提供更好的性能和更高的稳定性 也是oracle一贯的风格 对于bitmap在Oracle g中将如何实现 也将是非常值得关注的一个特点

lishixinzhi/Article/program/Oracle/201311/16929

---