下一代数据库技术的发展主流
针对关系数据库技术现有的局限性,理论界如今主要有三种观点 :
面向对象的数据库技术将成为下一代数据库技术发展的主流 部分学者认为现有的关系型数据库无法描述现实世界的实体,而面向对象的数据模型由于吸收了已经成熟的面向对象程序设计方法学的核心概念和基本思想,使得它符合人类认识世界的一般方法,更适合描述现实世界。甚至有人预言,数据库的未来将是面向对象的时代。
面向对象的关系数据库技术 关系数据库几乎是当前数据库系统的标准,关系语言与常规语言一起几乎可完成任意的数据库 *** 作,但其简洁的建模能力、有限的数据类型、程序设计中数据结构的制约等却成为关系型数据库发挥作用的瓶颈。面向对象方法起源于程序设计语言,它本身就是以现实世界的实体对象为基本元素来描述复杂的客观世界,但功能不如数据库灵活。因此部分学者认为将面向对象的建模能力和关系数据库的功能进行有机结合而进行研究是数据库技术的一个发展方向。
面向对象数据库技术 面向对象数据库的优点是能够表示复杂的数据模型,但由于没有统一的数据模式和形式化理论,因此缺少严格的数据逻辑基础。而演绎数据库虽有坚强的数学逻辑基础,但只能处理平面数据类型。因此,部分学者将两者结合,提出了一种新的数据库技术——演绎面向对象数据库,并指出这一技术有可能成为下一代数据库技术发展的主流。
数据库技术发展的新方向
非结构化数据库是部分研究者针对关系数据库模型过于简单,不便表达复杂的嵌套需要以及支持数据类型有限等局限,从数据模型入手而提出的全面基于因特网应用的新型数据库理论。支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理,在处理连续信息(包括全文信息)和非结构信息 (重复数据和变长数据)中有着传统关系型数据库所无法比拟的优势。但研究者认为此种数据库技术并不会完全取代如今流行的关系数据库,而是它们的有益的补充。
数据库技术发展的又一趋势
有学者指出 :数据库与学科技术的结合将会建立一系列新数据库,如分布式数据库、并行数据库、知识库、多媒体数据库等,这将是数据库技术重要的发展方向。其中,许多研究者都对多媒体数据库作为研究的重点,并认为多媒体技术和可视化技术引入多媒体数据库将是未来数据库技术发展的热点和难点。
未来数据库技术及市场发展的两大方向数据仓库电子商务 部分学者在对各个数据库厂商的发展方向和应用需求的不断扩展的现状进行分析的基础上,提出数据库技术及市场在向数据仓库和电子商务两个方向不断发展的观点。他们指出 :从上一年开始,许多行业如电信、金融、税务等逐步认识到数据仓库技术对于企业宏观发展所带来的巨大经济效益,纷纷建立起数据仓库系统。在中国提供大型数据仓库解决方案的厂商主要有Oracle、IBM、Sybase、CA及Informix等厂商,已经建设成功并已收回投资的项目主要有招商银行系统和国信证券系统等。当前,国内外学者对数据仓库的研究正在继续深入。与此同时,一些学者将数据库技术及市场发展的视角瞄准电子商务领域,他们认为 :如今的信息系统逐渐要求按照以客户为中心的方式建立应用框架,因此势必要求数据库应用更加广泛地接触客户,而Internet给了我们一个非常便捷的连接途径,通过Internet我们可以实现所谓的One One Marketing和One One business,进而实现E business。因此,电子商务将成为未来数据库技术发展的另一方向。
面向专门应用领域的数据库技术 许多研究者从实践的角度对数据库技术进行研究,提出了适合应用领域的数据库技术如工程数据库、统计数据库、科学数据库、空间数据库、地理数据库等。这类数据库在原理上也没有多大的变化,但是它们却与一定的应用相结合,从而加强了系统对有关应用的支撑能力,尤其表如今数据模型、语言、查询方面。部分研究者认为,随着研究工作的继续深和数据库技术在实践工作中的应用,数据库技术将会更多朝着专门应用领域发展。 数据和数据处理
数据(Data)是用于描述现实世界中各种具体事物或抽象概念的,可存储并具有明确意义的符号,包括数字,文字,图形和声音等.数据处理是指对各种形式的数据进行收集,存储,加工和传播的一系列活动的总和.其目的之一是从大量的,原始的数据中抽取,推导出对人们有价值的信息以作为行动和决策的依据;目的之二是为了借助计算机技术科学地保存和管理复杂的,大量的数据,以便人们能够方便而充分地利用这些宝贵的信息资源.
数据库
数据库(DataBase,DB)是存储在计算机辅助存储器中的,有组织的,可共享的相关数据集合.数据库具有如下特性.
⑴数据库是具有逻辑关系和确定意义的数据集合.
⑵数据库是针对明确的应用目标而设计,建立和加载的.每个数据库都具有一组用户,并为这些用户的应用需求服务.
⑶一个数据库反映了客观事物的某些方面,而且需要与客观事物的状态始终保持一致.
数据库管理系统及其基本功能
数据库管理系统(DataBase Management System,DBMS)是对数据库进行管理的系统软件,它的职能是有效地组织和存储数据,获取和管理数据,接受和完成用户提出的各种数据访问请求.能够支持关系型数据模型的数据库管理系统,称为关系型数据库管理系统(Relational DataBase Management System,RDBMS).
RDBMS的基本功能包括以下4个方面:
⑴数据定义功能:RDBMS提供了数据定义语言(Data Definition Language,DDL),利用DDL可以方便地对数据库中的相关内容进行定义.例如,对数据库,表,字段和索引进行定义,创建和修改.
⑵数据 *** 纵功能:RDBMS提供了数据 *** 纵语言(Data Manipulation Language,DML),利用DML可以实如今数据库中插入,修改和删除数据等基本 *** 作.
⑶数据查询功能:RDBMS提供了数据查询语言(Data Query Language,DQL),利用DQL可以实现对数据库的数据查询 *** 作.
⑷数据控制功能:RDBMS提供了数据控制语言(Data Control Language,DCL),利用DCL可以完成数据库运行控制功能,包括并发控制(即处理多个用户同时使用某些数据时可能产生的问题),安全性检查,完整性约束条件的检查和执行,数据库的内部维护(例如索引的自动维护)等.RDBMS的上述许多功能都可以通过结构化查询语言(Structured Query Language,SQL)来实现的,SQL是关系数据库中的一种标准语言,在不同的RDBMS产品中,SQL中的基本语法是相同的.此外,DDL,DML,DQL和DCL也都属于SQL.
⒈3.4数据库应用系统及其组成
数据库应用系统又简称为数据库系统,是指拥有数据库技术支持的计算机系统,它可以实现有组织地,动态地存储大量相关数据,提供数据处理和信息资源共享服务的功能.
各类人员主要参与数据库应用系统的需求分析,设计,开发,使用,管理和维护,他们在数据库应用系统的开发,运行及维护等阶段扮演着不同的角色,并起着不同的作用.各类人员主要包括以下几种.
⑴最终用户.
⑵系统分析员.
⑶应用程序员.
⑷数据库管理员(DataBase Administrator,DBA). 从其应用方式来看,数据库技术主要起着两方面的作用.
⑴信息系统开发作用.利用数据库技术以及互联网技术,并结合具体的编程语言,可以开发一个信息系统,从而解决业务数据的输入和管理问题.在信息系统开发中,主要利用的是RDBMS的基本功能,即数据定义功能,数据 *** 纵功能,数据查询功能以及数据控制功能.
⑵数据分析与展示作用.利用RDBMS的数据查询功能对数据库中的数据进行关联组合或逐级汇总分析,并以表格,图形或报表形式将分析结果进行展示,从而解决业务数据的综合利用问题.
硕士开题报告可以从课题来源、研究目的和意义、国内外研究现状和发展趋势的简要说明来写,具体可参考下方示例。
一、课题来源:
本课题来源于作者在学习和实习中了解到的两个事实,属于自拟课题。
其一,作者在2011年7月在XXX公司调研,了解到现如今各行业都面临着数据量剧增长,并由此带来业务处理速度缓慢,数据维护困难等问题。为了应对此挑战,很多企业开实施大数据发展战略。现如今的大数据发展战略可以概括为两类,一类是垂直扩展。
即采用存储容量更大,处理能力更强的设备,此种方式成本较大,过去很多大公司一直采用此种方法处理大数据。但自从2004年Google发布关于GFS,MapReduce和BigTable三篇技术论文之后,云计算开始兴起,2006年Apache Hadoop项目启动。
随后从2009年开始,随着云计算和大数据的发展,Hadoop作为一种优秀的数据分析、处理解决方案,开始受到许多 IT企业的关注。相较于垂直扩张所需的昂贵成本,人们更钟情于采用这种通过整合廉价计算资源的水平扩展方式。于是很多IT企业开始探索采用Hadoop框架构建自己的大数据环境。
其二,作者自2013年4月在XXX实习过程中进一步了解到,因为关系数据库在存储数据格式方面的局限,以及其Schema机制带来的扩展性上的不便,目前在大部分的大数据应用环境中都采用非结构化的数据库,如列式存储的Hbase,文档型存储的MangoDB,图数据库neo4j等。
这些非结构化数据库因为可扩展性强、资源利用率高,高并发、响应速度快等优势,在大数据应用环境中得到了广泛的应用。但此种应用只解决了前端的业务处理,要真正利用大数据实现商务智能,还需要为决策支持系统和联机分析应用等提供一数据环境——数据仓库。为此,导师指导本文作者拟此题目,研究基于Hadoop框架的数据仓库解决方案。
二、研究目的和意义:
现如今,数据已经渗透到每一个行业,成为重要的生产因素。近年来,由于历史积累和和数据增长速度加快,各行业都面临着大数据的难题。事实上,大数据既是机遇又时挑战。合理、充分利用大数据,将其转变为海量、高增长率和多样化的信息资产,将使得企业具有更强的决策力、洞察发现力和流程优化等能力。
因此,很多IT企业都将大数据作为其重要的发展战略,如亚马逊、脸谱网已布局大数据产业,并取得了骄人的成绩。事实上,不止谷歌、易趣网或亚马逊这样的大型互联网企业需要发展大数据,任何规模的企业都有机会从大数据中获得优势,并由此构建其未来业务分析的基础,在与同行的竞争中,取得显著的优势。
相较于大型企业,中小企业的大数据发展战略不同。大公司可以凭借雄厚的资本和技术实力,从自身环境和业务出发,开发自己的软件平台。而中小企业没有那样的技术实力,也没有那么庞大的资金投入,更倾向于选择一个普遍的、相对廉价的解决方案。
本文旨在分析大数据环境下数据库的特点,结合当下流行的Hadoop框架,提出了一种适用于大数据环境的数据仓库的解决方案并实现。为中小企业在大数据环境中构建数据仓库提供参考。其具体说来,主要有以下三方面意义:
首先,目前主流的数据库如Oracle、SQL Server都有对应自己数据库平台的一整套的数据仓库解决方案,对于其他的关系型数据库如MySQL等,虽然没有对应数据库平台的数据仓库解决方案,但有很多整合的数据仓库解决方案。
而对于非结构化的数据库,因其数据模型不同于关系型数据库,需要新的解决方案,本文提出的基于Hive/Pentaho的数据仓库实现方案可以为其提供一个参考。
其次,通过整合多源非结构化数据库,生成一个面向主题、集成的数据仓库,可为大数据平台上的联机事务处理、决策支持等提供数据环境,从而有效利用数据资源辅助管理决策。
再次,大数据是一个广泛的概念,包括大数据存储、大数据计算、大数据分析等各个层次的技术细节,本文提出的“大数据环境下的数据仓库解决方案及实现“丰富了大数据应用技术的生态环境,为大数据环境下的数据分析、数据挖掘等提供支撑。
三、国内外研究现状和发展趋势的简要说明:
本文研究的主体是数据仓库,区别于传统基于关系型数据库的数据仓库,本文聚焦大数据环境下基于非结构数据库的数据仓库的构建与实现。因此,有必要从数据仓库和大数据环境下的数据库两方面进行阐述。
(一)数据仓库国内外研究现状:
自从Bill Inmon 在1990年提出“数据仓库”这一概念之后,数据仓库技术开始兴起,并给社会带来新的契机,逐渐成为一大技术热点。目前,美国30%到40%的公司已经或正在建造数据仓库。现如今随着数据模型理论的完善,数据库技术、应用开发及挖掘技术的不断进步,数据仓库技术不断发展,并在实际应用中发挥了巨大的作用。
以数据仓库为基础,以联机分析处理和数据挖掘工具为手段的决策支持系统日渐成熟。与此同时,使用数据仓库所产生的巨大效益又刺激了对数据仓库技术的需求,数据仓库市场正以迅猛的势头向前发展。
我国企业信息化起步相对较晚,数据仓库技术在国内的发展还处于积累经验阶段。虽然近年来,我国大中型企业逐步认识到利用数据仓库技术的重要性,并已开始建立自己的数据仓库系统,如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。
但从整体上来看,我国数据仓库市场还需要进一步培育,数据仓库技术同国外还有很大差距。为此,我国许多科技工作者已开始对数据仓库相关技术进行深入研究,通过对国外技术的吸收和借鉴,在此基础上提出适合国内需求的技术方案。
(二)非结化数据库国内外研究现状:
随着数据库技术深入应用到各个领域,结构化数据库逐渐显露出一些弊端。如在生物、地理、气候等领域,研究面对的数据结构并不是传统上的关系数据结构。如果使用关系数据库对其进行存储、展示,就必须将其从本身的数据结构强行转换为关系数据结构。
采用此种方式处理非结构数据,不能在整个生命周期内对非关系数据进行管理,并且数据间的关系也无法完整的表示出来。在此背景下,非结构化数据库应运而生。相较于关系数据库,非结构数据库的字段长度可变,并且每个字段的记录又可以由可重复或不可重复的子字段构成。
如此,它不仅可以处理结构化数据,更能处理文本、图象、声音、影视、超媒体等非结构化数据。近年来,随着大数据兴起,非结构数据库开始广泛应用,以支持大数据处理的多种结构数据。
目前,非结构化的数据库种类繁多,按其存储数据类型分,主要包含内存数据库、列存储型、文档数据库、图数据库等。其中,常见的内存数据库有SQLite,Redis,Altibase等;列存储数据库有Hbase,Bigtable等;文档数据库有MangoDB,CouchDB,RavenDB等;图数据库有Neo4j等。
近年来,我国非结构数据库也有一定发展,其中最具代表的是国信贝斯的iBASE数据库。可以预见在不久的将来,伴随这大数据的应用,非结构数据库将会得到长足的发展和广泛的应用。
国内外研究现状写法技巧如下:
第一写国内外研究现状的时候首先需要具备的是研究国内的现状,需要举出一系列的数据,同时这些数据必须是来源于正规的数据平台,这样的平台国家已经很多,比如中国知网是一个全国比较大家的数据库大家可以在这里查找,这个方法大家要记住。
第二大家写国外研究的时候,需要明白的是国外的整体情况,需要了解具体国家的整体数据,同时对这个国家的文化要有了解,这样才可以引述正确。这些资料可以各大国际知名网站查找,美国的很多大学网站对外开放一部分,可以去那里研究一下。
数据的来源需要注明,这点十分重要,同时在做国内外研究现状对比的时候要明晰的说明的整体对比和结论,要写明国内外相互的关系,相互的优势和劣势,以及未来的发展方向等一系列问题,这样才是一篇完整的论文。
介绍:
研究学位的时候,尤其是大学生,都需要研究一些具体的课题和具体的研究方向,这样的研究难度都很大,大学生都需要面临这样的课题,同时还要写一篇针对性的论文,这样才可以大学毕业,合格的研究性论文,并不是很好写,需要很多技巧。
很多论文的提出大多是要有国内外研究现状这个内容,这样的情况下写论文的难度是很高的,严格的教育才可以出人才,严谨的学习才可以做好事业,所以论文的难度正是大学生和研究生以及其他人员需要挑战的事情。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)