14.数据仓库常见的存储优化方法有哪些?

14.数据仓库常见的存储优化方法有哪些?,第1张

存储优化管理的方式包括数据压缩、数据重分布、存储治理项优化、生命周期管理等方法。

数据压缩

在分布式文件系统中,会将数据存储3份,这意味着存储1TB的逻辑数据,实际上会占用3TB的物理空间。使用盘古RAID file格式的文件,将存储比从1:3提高至1:1.5。这样做的缺点是数据块损坏时的修复时间比原来更长,读的性能也有损失。

数据重分布

由于每个表的数据分布不同,插入顺序不同,导致压缩效果有很大的差异,通过修改表的数据重分布(distribute by, sort by字段)进行数据重分布,能够对表进行优化处理。

存储治理项优化:

存储治理项优化是指在元数据的基础上,诊断、加工成多个存储治理优化项。目前已有的存储治理优化项有未管理表、空表、最近62天未访问表、数据无更新无任务表等。

生命周期管理策略

根本目的:用最少的存储成本满足最大的业务需求,使数据价值最大化。

a) 周期性删除策略:针对无效的历史数据进行定期清理。

b) 彻底删除策略:无用表数据或者ETL过程产生的临时数据,以及不需要保留的数据,可以进行及时删除,包括删除元数据。

c) 永久保留策略:重要且不可恢复的底层数据和应用数据需要永久保留。

d) 极限存储策略:超高压缩重复镜像数据。

e) 冷数据管理策略:永久保留策略的扩展。永久保留的数据需要迁移到冷数据中心进行永久保存。一般将重要且不可恢复的、占用存储空间大于100TB,且访问频次较低的数据进行冷备,例如3年以上的日志数据。

单击开始---->所有程序---->Microsoft SQL Server 2014,选择SQL Server 2014 Management Studio选项,打开软件。

2.连接到服务器窗口中,输入服务器名称,选择SQL Server身份验证,输入登录名和密码,连接进入数据库

3.在左侧对象资源管理器中,展开数据库选项,找到NewData数据库。

4.在NewData数据库上右击,选择删除 *** 作。

5.删除对象窗口中,选择删除数据库备份和还原历史记录信息选项,同时选择关闭现有连接选项,单击确定。

6.可以看到,SQL Server中的NewData数据库已删除。

7.打开SQL Server安装目录中的DATA文件夹,NewData数据库已没有了,说明NewData数据库成功删除。

扩展资料:

SQL是Structured Query Language(结构化查询语言)的缩写。SQL是专为数据库而建立的 *** 作命令集,是一种功能齐全的数据库语言。在使用它时,只需要发出“做什么”的命令,“怎么做”是不用使用者考虑的。SQL功能强大、简单易学、使用方便,已经成为了数据库 *** 作的基础,并且现在几乎所有的数据库均支持SQL。

SQL数据库的数据体系结构基本上是三级结构,但使用术语与传统关系模型术语不同。在SQL中,关系模式(模式)称为“基本表”(base table);存储模式(内模式)称为“存储文件”(stored file);子模式(外模式)称为“视图”(view);元组称为“行”(row);属性称为“列”(column)。名称对称如^00100009a^:

SQL包括了所有对数据库的 *** 作,主要是由4个部分组成:

数据定义:这一部分又称为“SQL DDL”,定义数据库的逻辑结构,包括定义数据库、基本表、视图和索引4部分。

数据 *** 纵:这一部分又称为“SQL DML”,其中包括数据查询和数据更新两大类 *** 作,其中数据更新又包括插入、删除和更新三种 *** 作。

数据控制:对用户访问数据的控制有基本表和视图的授权、完整性规则的描述,事务控制语句等。

嵌入式SQL语言的使用规定:规定SQL语句在宿主语言的程序中使用的规则。

参考资料:IT专家网-微软SQL

答案如下:

1.如果需要删除的数据占全部数据的80%以上,而且数据量在百万级以上,那么删除的数据量就算是删多了。

2.在现在社会的节奏里,IT部门的脚步是停不下来的,那么对他们来说,大数据的到来意味着一系列新的挑战。那么,不可避免的就是,有一些挑战就会远远超过现有的令人头疼的问题,这就意味着企业需要新的数据管理平台。各行各业都在进行开发更好的用户体验的数字计划,各方各面的数据也是蜂拥而至,但是如何利用这些大数据来针对用户进行合适的数字服务和应用的真实体验研发,包括现在我们对于网络、系统还有其他应用,都还没有足够的信息,但是由于现在每样东西都在被数据化,所以我们需要对大数据领域有所了解及深入。

3.在未来几年内,数据增长仍然会非常迅速。存储的投资在未来IT投资中的比例会迅速增加,IT管理的高层也会看到存储正在吃掉越来越多的IT预算,因此,存储的成本压力也会越来越显著。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9898714.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-03
下一篇 2023-05-03

发表评论

登录后才能评论

评论列表(0条)

保存