linux下数据压缩的几种方法与查看方式

linux下数据压缩的几种方法与查看方式,第1张

1 tar命令

使用tar程序打出来的包我们常称为tar包 tar包文件的命令通常都是以tar结尾的。生成tar包后 就可以用其它的程序来进行压缩了 tar命令本身不进行数据压缩 但可以在打包或解包的同时调用其它的压缩程序 比如调用gzip、bzip2

    选项:

-c 创建tar格式包文件

-x 解开tar格式包文件

-v显示详细信息

-f 使用归档文件

-p 保留原始文件权限

-C 解压到目标文件夹

-z 调用gzip进行压缩或解压

-j 调用bzip2进行压缩或解压

    打包示例: 

  tar -cvf /blog/uouo123/comtar bbtxt 打包文件

    打包并压缩示例:

tar -zcvf /blog/uouo123/comtargz bbtxt 压缩文件

    解压缩示例:

tar -zxvf /blog/uouo123/comtargz -C /com/bb 解压文件

2 gzip压缩

    常用数据压缩命令 压缩比例可手工调整   压缩后文件名 filenamegz:

        注:压缩后文件可直接load至hive数据库 但每个文件只会产生一个map 查询效率极低

选项:

-c 将输出写到标准输出上 并保留原有文件。

-d 将压缩文件解压。

-l 对每个压缩文件 显示下列字段:

压缩文件的大小;未压缩文件的大小;压缩比;未压缩文件的名字

-r 递归式地查找指定目录并压缩其中的所有文件或者是解压缩。

-t 测试 检查压缩文件是否完整。

-v 对每一个压缩和解压的文件 显示文件名和压缩比。

-num 用指定的数字 num 调整压缩的速度 -1 或 --fast 表示最快压缩方法(低压缩比)

-9 或--best表示最慢压缩方法(高压缩比)。系统缺省值为 6。

压缩示例:

gzip filename

    查看gzip压缩文件内容命令:     

    zcat filenamegz

     解压缩命令:

gzip -d filenamegz

    压缩过程中可控制压缩率(1-9) 1压缩最快 压缩率不高 9压缩最慢 压缩比例最高 缺省为6 例如:

    gzip -9 filename

3 bzip2压缩

    常用数据压缩命令 压缩比例比gzip高 压缩后文件名为filenamebz2

        注:压缩后文件可直接load至hive数据库

    选项

-c或——stdout:将压缩与解压缩的结果送到标准输出;

-d或——decompress:执行解压缩;

-f或-force:bzip2在压缩或解压缩时 若输出文件与现有文件同名 预设不会覆盖现有文件。若要覆盖。请使用此参数;

-h或——help:在线帮助;

-k或——keep:bzip2在压缩或解压缩后 会删除原始文件。若要保留原始文件 请使用此参数;

-s或——small:降低程序执行时内存的使用量;

-t或——test:测试bz2压缩文件的完整性;

-v或——verbose:压缩或解压缩文件时 显示详细的信息;

-z或——compress:强制执行压缩;

-V或——version:显示版本信息;

--repetitive-best:若文件中有重复出现的资料时 可利用此参数提高压缩效果;

--repetitive-fast:若文件中有重复出现的资料时 可利用此参数加快执行效果。

    压缩示例:

    bzip2 filename

    解压缩示例:

    bzip2 -d filenamebz2

    直接查看压缩文件示例:     

    bzcat filenamebz2

使用默认压缩情况下压缩性能:

    bzip2 > gzip > tar

随着数据量的不断海量 CPU的不断强劲 双核四核的叫个不停 一种叫做时间换空间的优化技术应该会越来越流行 所以 数据压缩对于今后的数据库来说 应该会从核武器变成常规武器 Oracle从 i开始羞羞答答的引入表级压缩 一直以来都是像中国的核电站一样 宣传的用处大 论实际的贡献就不怎么样了

Oracle g似乎是正儿八经的要推广数据压缩技术了 专门推出了一个叫做Advance Compression的组件 全面支持普通表压缩 非结构化数据压缩(SecureFile数据压缩) Data Pump数据压缩 以及RMAN备份压缩 数据压缩技术从此名正言顺的登上历史舞台 既然是专门做为一个Option推出 Oracle一定是对该特性相当有信心 所以需要单独为该特性购买License

在Oracle i中虽然引入了表压缩 但是有很大的限制 只能对批量装载 *** 作(比如直接路径装载 CTAS等)涉及的数据进行压缩 普通的DML *** 作的数据是无法压缩的 这应该是对于写 *** 作的压缩难题没有解决 一直遗留到Oracle g 总算是解决了关系数据压缩的写性能问题 Oracle的表压缩是针对Block级别的数据压缩 主要技术和Oracle i差不多 还是在Block中引入symbol表 将block中的重复数据在symbol中用一个项表示 Oracle会对block进行批量压缩 而不是每次在block中写入数据时都进行压缩 通过这种方式 可以尽量降低数据压缩对于DML *** 作的性能影响 这样 在block级别应该会引入一个新的参数 用于控制block中未压缩的数据量达到某个标准以后进行压缩 *** 作

SecureFile也是Oracle g新推出的一项特性 用于存储非结构化数据 SecureFile也将支持数据压缩 *** 作 这样对于传统的LOB字段也可以进行压缩 将极大的减少大型数据库的存储空间需求 当然 有得比有失 压缩和解压时 对于CPU的要求也将更高 但是 目前CPU的发展速度明显比IO和存储空间快速的情况下 压缩是大有可为的技术 通过在压缩率和压缩效率方面的不断提升 以后应该为成为各个数据库的标准配置

除了对数据库中的数据进行压缩 Advance Compression Option还将支持备份数据的压缩 做为逻辑备份的Data Pump和物理备份的RMAN工具 都将支持该技术 在Oracle gR 中 Data Pump已经开始支持压缩源数据 Oracle g中则可以直接压缩导出文件 这样导出的时候就可以极大的减少存储空间的需求 在以前版本中 利用WinRAR等 经常可以将几个G的导出文件压缩到几十M Oracle g的白皮书上说压缩率可以达到 % 等软件出来 大家可以好好的测试一把 同样的 Oracle也在 g中开始引入RMAN的压缩技术 但是Oracle g号称采用了更先进的ZLIB要所算法 可以比Oracle g的压缩算法快上 % 空间需求也将减少 %

除了上述的数据压缩技术 Oracle g Advanced Compression Option还将引入另外一种压缩技术 我们知道在Data Guard中 需要将日志从主库传递到备库 如果主库的事务很多 则单位时间内需要传递的日志量将相当可观 如果能将这些日志压缩后在传递 然后在备库解压后应用 将极大的减少对于网络带宽的需求 从而已减少主备库的时间差

另外 Oracle的bitmap一直就是压缩存储的 g中的bitmap对于 i就有比较大的改动 通过一些细节的完善 提供更好的性能和更高的稳定性 也是oracle一贯的风格 对于bitmap在Oracle g中将如何实现 也将是非常值得关注的一个特点

lishixinzhi/Article/program/Oracle/201311/16929

access数据库由于经常经常增删改查等 *** 作,将会越来越大,有一种有效的方法可以减压缩access数据库的大小

首先打开你要压缩的access数据库,然后选择菜单栏上的工具->数据库实用工具->压缩和修复数据库 就可以了。

1首先你要了解数据库变大的原因:随着您不断添加、更新数据以及更改数据库设计,数据库文件会变得越来越大。导致增大的因素不仅包括新数据,还包括其他一些方面:

(1)Access 会创建临时的隐藏对象来完成各种任务。有时,Access 在不再需要这些临时对象后仍将它们保留在数据库中。

(2)删除数据库对象时,系统不会自动回收该对象所占用的磁盘空间。也就是说,尽管该对象已被删除,数据库文件仍然使用该磁盘空间。

随着数据库文件不断被遗留的临时对象和已删除对象所填充,其性能也会逐渐降低。其症状包括:对象可能打开得更慢,查询可能比正常情况下运行的时间更长,各种典型 *** 作通常似乎也需要使用更长时间。

2所以,压缩数据库并不是压缩数据,而是通过清除未使用的空间来缩小数据库文件。

3压缩数据库可以防止数据库变大而引起的执行性能变慢,防止因此造成的数据库损坏。

以上就是关于linux下数据压缩的几种方法与查看方式全部的内容,包括:linux下数据压缩的几种方法与查看方式、Oracle11g新特性之:数据压缩技术、如何压缩网站Access数据库等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9322727.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-27
下一篇 2023-04-27

发表评论

登录后才能评论

评论列表(0条)

保存