大数据时代数据管理方式研究

大数据时代数据管理方式研究

1数据管理技术的回顾

数据管理技术主要经历了人工管理阶段、文件系统阶段和数据库系统阶段。随着数据应用领域的不断扩展，数据管理所处的环境也越来越复杂，目前广泛流行的数据库技术开始暴露出许多弱点，面临着许多新的挑战。

11 人工管理阶段

20 世纪 50 年代中期，计算机主要用于科学计算。当时没有磁盘等直接存取设备，只有纸带、卡片、磁带等外存，也没有 *** 作系统和管理数据的专门软件。该阶段管理的数据不保存、由应用程序管理数据、数据不共享和数据不具有独立性等特点。

12 文件系统阶段

20 世纪 50 年代后期到 60 年代中期，随着计算机硬件和软件的发展，磁盘、磁鼓等直接存取设备开始普及，这一时期的数据处理系统是把计算机中的数据组织成相互独立的被命名的数据文件，并可按文件的名字来进行访问，对文件中的记录进行存取的数据管理技术。数据可以长期保存在计算机外存上，可以对数据进行反复处理，并支持文件的查询、修改、插入和删除等 *** 作。其数据面向特定的应用程序，因此，数据共享性、独立性差，且冗余度大，管理和维护的代价也很大。

13数据库阶段

20 世纪 60 年代后期以来，计算机性能得到进一步提高，更重要的是出现了大容量磁盘，存储容量大大增加且价格下降。在此基础上，才有可能克服文件系统管理数据时的不足，而满足和解决实际应用中多个用户、多个应用程序共享数据的要求，从而使数据能为尽可能多的应用程序服务，这就出现了数据库这样的数据管理技术。数据库的特点是数据不再只针对某一个特定的应用，而是面向全组织，具有整体的结构性，共享性高，冗余度减小，具有一定的程序与数据之间的独立性，并且对数据进行统一的控制。

2大数据时代的数据管理技术

大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据有 3 个 V,一是大量化（Volume），数据量是持续快速增加的，从 TB级别，跃升到 PB 级别；二是多样化（Variety），数据类型多样化，结构化数据已被视为小菜一碟，、音频、视频等非结构化数据正以传统结构化数据增长的两倍速快速创建；三是快速化 （Velocity），数据生成速度快，也就需要快速的处理能力，因此，产生了“1 秒定律”,就是说一般要在秒级时间范围内给出分析结果，时间太长就失去价值了，这个速度要求是大数据处理技术和传统的数据挖掘技术最大的区别。

21 关系型数据库（RDBMS）

20 世纪 70 年代初，IBM 工程师 Codd 发表了著名的论文“A Relational Model of Data for Large Shared DataBanks”,标志着关系数据库时代来临。关系数据库的理论基础是关系模型，是借助于集合代数等数学概念和方法来处理数据库中的数据，现实世界中的实体以及实体之间的联系非常容易用关系模型来表示。容易理解的模型、容易掌握的查询语言、高效的优化器、成熟的技术和产品，使得关系数据库占据了数据库市场的绝对的统治地位。随着互联网 web20 网站的兴起，半结构化和非结构化数据的大量涌现，传统的关系数据库在应付 web20 网站特别是超大规模和高并发的 SNS（全称 Social Networking Services,即社会性网络服务） 类型的 web20 纯动态网站已经显得力不从心，暴露了很多难以克服的问题。

22 noSQL数据库

顺应时代发展的需要产生了 noSQL数据库技术，其主要特点是采用与关系模型不同的数据模型，当前热门的 noSQL数据库系统可以说是蓬勃发展、异军突起，很多公司都热情追捧之，如：由 Google 公司提出的 Big Table 和 MapReduce 以及 IBM 公司提出的 Lotus Notes 等。不管是那个公司的 noSQL数据库都围绕着大数据的 3 个 V,目的就是解决大数据的 3个 V 问题。因此，在设计 noSQL 时往往考虑以下几个原则，首先，采用横向扩展的方式，通过并行处理技术对数据进行划分并进行并行处理，以获得高速的读写速度；其次，解决数据类型从以结构化数据为主转向结构化、半结构化、非结构化三者的融合的问题；再次，放松对数据的 ACID 一致性约束，允许数据暂时出现不一致的情况，接受最终一致性；最后，对各个分区数据进行备份（一般是 3 份），应对节点失败的状况等。

对数据的应用可以分为分析型应用和 *** 作型应用，分析型应用主要是指对大量数据进行分类、聚集、汇总，最后获得数据量相对小的分析结果； *** 作型应用主要是指对数据进行增加、删除、修改和查询以及简单的汇总 *** 作，涉及的数据量一般比较少，事务执行时间一般比较短。目前数据库可分为关系数据库和 noSQL数据库，根据数据应用的要求，再结合目前数据库的种类，所以目前数据库管理方式主要有以下 4 类。

（1）面向 *** 作型的关系数据库技术。

首先，传统数据库厂商提供的基于行存储的关系数据库系统，如 DB2、Oracle、SQL Server 等，以其高度的一致性、精确性、系统可恢复性，在事务处理方面仍然是核心引擎。其次，面向实时计算的内存数据库系统，如 Hana、Timesten、Altibase 等通过把对数据并发控制、查询和恢复等 *** 作控制在内存内部进行，所以获得了非常高的性能，在很多特定领域如电信、证券、网管等得到普遍应用。另外，以 VoltDB、Clustrix 和NuoDB 为代表的 new SQL 宣称能够在保持 ACDI 特性的同时提高了事务处理性能 50 倍 ~60 倍。

（2）面向分析型的关系数据库技术。

首先，TeraData 是数据仓库领域的领头羊，Teradata 在整体上是按 Shared Nothing 架构体系进行组织的，定位就是大型数据仓库系统，支持较高的扩展性。其次，面向分析型应用，列存储数据库的研究形成了另一个重要的潮流。列存储数据库以其高效的压缩、更高的 I/O 效率等特点，在分析型应用领域获得了比行存储数据库高得多的性能。如：MonetDB 和 Vertica是一个典型的基于列存储技术的数据库系统。

（3）面向 *** 作型的 noSQL 技术。

有些 *** 作型应用不受 ACID 高度一致性约束，但对大数据处理需要处理的数据量非常大，对速度性能要求也非常高，这样就必须依靠大规模集群的并行处理能力来实现数据处理，弱一致性或最终一致性就可以了。这时， *** 作型 noSQL数据库的优点就可以发挥的淋漓尽致了。如，Hbase 一天就可以有超过 200 亿个到达硬盘的读写 *** 作，实现对大数据的处理。另外，noSQL数据库是一个数据模型灵活、支持多样数据类型，如对图数据建模、存储和分析，其性能、扩展性是关系数据库无法比拟的。

（4）面向分析型的 noSQL 技术。

面向分析型应用的 noSQL 技术主要依赖于Hadoop 分布式计算平台，Hadoop 是一个分布式计算平台，以 HDFS 和 Map Reduce 为用户提供系统底层细节透明的分布式基础架构。《Hadoop 经典实践染技巧》传统的数据库厂商 Microsoft,Oracle,SAS,IBM 等纷纷转向 Hadoop 的研究，如微软公司关闭 Dryad 系统，全力投入 Map Reduce 的研发，Oracle 在 2011 年下半年发布 Big Plan 战略计划，全面进军大数据处理领域，IBM 则早已捷足先登“,沃森（Watson）”计算机就是基于 Hadoop 技术开发的产物，同时 IBM 发布了 BigInsights 计划，基于 Hadoop,Netezza 和 SPSS（统计分析、数据挖掘软件）等技术和产品构建大数据分析处理的技术框架。同时也涌现出一批新公司来研究Hadoop 技术，如 Cloudera、MapRKarmashpere 等。

3数据管理方式的展望

通过以上分析，可以看出关系数据库的 ACID 强调数据一致性通常指关联数据之间的逻辑关系是否正确和完整，而对于很多互联网应用来说，对这一致性和隔离性的要求可以降低，而可用性的要求则更为明显，此时就可以采用 noSQL 的两种弱一致性的理论 BASE 和 CAP关系数据库和 noSQL数据库并不是想到对立的矛盾体，而是可以相互补充的，根据不同需求使用不同的技术，甚至二者可以共同存在，互不影响。最近几年，以 Spanner 为代表新型数据库的出现，给数据库领域注入新鲜血液，这就是融合了一致性和可用性的 newSQL,这种新型思维方式或许会是未来大数据处理方式的发展方向。

4 结束语

随着云计算、物联网等的发展，数据呈现爆炸式的增长，人们正被数据洪流所包围，大数据的时代已经到来。正确利用大数据给人们的生活带来了极大的便利，但与此同时也给传统的数据管理方式带来了极大的挑战。

一般建议安装在xp系统上。但是旗舰版应该可以安装。找不到系统数据库应该是你用友软件以前安装过，并且用过的原因。需要在注册表中把installok,更改为installed 就可以重建用友系统数据库，具体注册表位置在locak_machine-software-ufsoft -uf2000（或者wf-uf8520)-setup-setup

UCache灾备云采用一站式WEB管理方式，利用CDM多副本数据管理技术帮助企业弥补传统备份的不足，集秒级、分钟级、小时级灾备技术于一身，为企业提供更安全可靠更高效低成本投入的CDP持续数据保护方案。

云灾备技术价值：

1、为企业提供一种服务：

灾备即服务，为用户提供数据备份、灾难恢复服务。

2、为企业提供一个平台：

具备云平台的特性，即开即用，d性扩容。

3、为企业提供一项技术：

可以满足混合云环境下的 海量数据 即时备份。

4、被企业当作一个工具：

实现跨设备、跨云、跨地域的数据迁移。

UCache灾备云备份原理

云灾备应用场景：

1、索病毒防护

保护企业的核心数据免遭这类勒索软件加密或锁定降低企业生存风险。

2、文件系统备份/恢复保护

企业的非结构化数据，满足全量备份和增量备份要求。

3、本地机房数据保护

保护企业本地机房物理数据，包括办公文件，设计稿，音视频，医疗影像等重要文件，虚拟机配置及数据文件， *** 作系统、磁盘卷级备份DB2 、 GaussDB 、 GBase 、 MySQL 、 Oracle 、 SAP HANA 、 SQL 、 Sybase 、 TimesTen等等。

4、公有云平台数据保护

UCache云灾备向用户提供针对公有云平台、私有云、混合云平台的高性能无代理备份功能，无需在虚机内安装代理即可为虚拟机提供可靠的整机备份，云主机、SQL备份异地云灾备中心虚拟机备份除了可以恢复回原客户端，还可以在UCACHE私有云上整机恢复成ECS云服务器，让业务可以在云上继续运行，实现极低成本的业务级容灾。

5、云平台备份/恢复保护

企业的自建云平台运营安全，兼容Openstack、CAS、FusionCloud等云平台。

6、虚拟化备份/恢复保护

企业的虚拟化平台数据运营安全，兼容VMware、Hyper-v、XenServer、Fusion5phere H3CCAS、Incloud、云宏、citrix、KVM、Red Hat、H3Cloud等虚拟化平台。

7、数据库备份/恢复

持续性数据保护帮助企业数据库等应用备份RPO≈“0”保障核心数据运营安全，支持DB2\MySQL\Oracle\SAP HANA\SQL hadoop\Office 365\Exchange\Active Directory\Kingbase\GBASE\达梦数据库等。

8、数据迁移工具

一站式帮助企业不中断，高效无缝迁移业务，为云转移、设备替换、业务割接场景，提供了搬迁、校验、同步、加密等完美体验。

了解更多，搜一搜：ucache灾备云

帮助客户制定HANA计划的咨询顾问与分析师承认其中的复杂性，他们认为HANA分析型应用将最终走进企业混合ERP环境

也许短期大规模BusinessSuite向HANA的迁移不会出现，但这是一个非常重大的变革，SAP用户必须重新评估他们的企业系统

埃森哲公司的SAP分析与HANA部门全球主管NicolaMoriniBianzino表示：“客户向HANA迁移的方式是小步走，大多数的SAP客户都在进行评估，他们需要一套系统的方法来决定如何进行迁移，以及是否在云中运行HANA

客户将从小的组件开始向HANA迁移，同时需要保证业务的正常运转

这与迁移到云的形式非常相似，部分业务留在企业内部，部分放到云中

”对于那些市场竞争中处于领先位置的大型企业来说，他们对预测分析的需求是明显的，是HANA的典型客户群

而像公共事业这种行业，他们的迁移步伐会慢一些

当HANA企业云以及相关的选项更成熟，证明迁移更可行的时候，MoriniBianzino期待一些小型公司也能够跟上脚步

相比而言，SAPBWonHANA应用更简单一些，而且成本与风险相对较低

MoriniBianzino表示：“通常BW系统的规模不是很大，所以前期的投入会相对较少

埃森哲在印度的一个制造业客户近期就完成了向HANA的迁移

”另外一些没有准备好对ERP系统进行完全“平台再造”的客户首先会考虑一些批量处理负载，比如财务结算，他们能够从HANA的性能提升上快速获得回报

改写历史一些观察家指出，HANA强袭的一个主要原因是SAP对新的收入流的迫切需求

凯捷公司的HANA咨询顾问MikePrice表示，ERP热潮早已经过去，而为了推广HANA，SAP不得不对其ERP平台进行重新投资，包括核心代码的重写

实在难以想象现在有多少人在为此写代码

SAP声称，基于HANA的BusinessSuite对客户来说将提供无缝的迁移体验，专家对此表示赞同

Forrester著名分析师PaulHamerman称，基于HANA的BusinessSuite并不是另一个版本，它更像是一个增强的功能包

客户通过迁移到HANA的确能够获得非常好的性能提升，比如在财务结算上的测试显示能够提供1000倍以上的性能提升

Hamerman表示：“在HANA的推广方面，SAP一直非常小心，不给客户造成迁移必须‘大动干戈’的印象

这与甲骨文形成鲜明对比

”Hamerman这里指的是Oracle融合应用软件产品线

HANA早期回报体现在接近实时的运行传统的批量处理应用

然而，速度并不是唯一的优势

特别是对于跨国公司来说，他们基本上会统一时间进行基于ERP的批量处理，通常是在夜里

然而由于时差关系，一些地区业务就可能需要暂停

因此这种接近于实时的处理能力会非常具有吸引力

通常说到SAP，指的都是SAPBusinessSuite/R3(ECC)这款产品。

那么SAPS/4HANA与SAPR3究竟有什么不同呢？

简单地说，S/4HANA是下一代的R/3和SAP商务套件SAP。它利用新的用户体验技术（SAPFiori）和内存处理和数据库技术（SAPHANA），以及引入了一个新的引导配置的概念。

因此，它提高了简单，减少了处理时间，并提供比更大的功能在R/3是可用的。S/4hana重点是财务、ERP、CRM，SRM，SCM，PLM，和BW，与财务的组件组成的SAP新近发布的简单财务应用。进一步的功能目前在SAPERP被建造出来的。

SAPR3基于任何的数据库（包括SAPHANA数据库），而SAPS/4HANA是完全基于SAPHANA构建，优化了产品代码及数据结构，简化了财务流程和产品逻辑，并且应用了SAPFiori新的用户交互系统。

SAPHANA的命令行工具主要是hdbsql，可以交互式或非交互式运行，还可以从文件导入命令执行

我们首先来看看如何交互式运行命令

我们现在已经有了一个SAPHANA数据库

进入到命令行后我们需要切换到HANA安装时创建的用户，我们将切换到这个用户名:su_a17adm

然后输入hdbsql，我们就进入了交互式界面

以上就是关于大数据时代数据管理方式研究全部的内容，包括:大数据时代数据管理方式研究、如何往hana tentan数据库装软件、云灾备的备份原理是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！