硕士开题报告怎么写

硕士开题报告可以从课题来源、研究目的和意义、国内外研究现状和发展趋势的简要说明来写，具体可参考下方示例。

一、课题来源：

本课题来源于作者在学习和实习中了解到的两个事实，属于自拟课题。

其一，作者在2011年7月在XXX公司调研，了解到现如今各行业都面临着数据量剧增长，并由此带来业务处理速度缓慢，数据维护困难等问题。为了应对此挑战，很多企业开实施大数据发展战略。现如今的大数据发展战略可以概括为两类，一类是垂直扩展。

即采用存储容量更大，处理能力更强的设备，此种方式成本较大，过去很多大公司一直采用此种方法处理大数据。但自从2004年Google发布关于GFS，MapReduce和BigTable三篇技术论文之后，云计算开始兴起，2006年Apache Hadoop项目启动。

随后从2009年开始，随着云计算和大数据的发展，Hadoop作为一种优秀的数据分析、处理解决方案，开始受到许多 IT企业的关注。相较于垂直扩张所需的昂贵成本，人们更钟情于采用这种通过整合廉价计算资源的水平扩展方式。于是很多IT企业开始探索采用Hadoop框架构建自己的大数据环境。

其二，作者自2013年4月在XXX实习过程中进一步了解到，因为关系数据库在存储数据格式方面的局限，以及其Schema机制带来的扩展性上的不便，目前在大部分的大数据应用环境中都采用非结构化的数据库，如列式存储的Hbase，文档型存储的MangoDB，图数据库neo4j等。

这些非结构化数据库因为可扩展性强、资源利用率高，高并发、响应速度快等优势，在大数据应用环境中得到了广泛的应用。但此种应用只解决了前端的业务处理，要真正利用大数据实现商务智能，还需要为决策支持系统和联机分析应用等提供一数据环境——数据仓库。为此，导师指导本文作者拟此题目，研究基于Hadoop框架的数据仓库解决方案。

二、研究目的和意义：

现如今，数据已经渗透到每一个行业，成为重要的生产因素。近年来，由于历史积累和和数据增长速度加快，各行业都面临着大数据的难题。事实上，大数据既是机遇又时挑战。合理、充分利用大数据，将其转变为海量、高增长率和多样化的信息资产，将使得企业具有更强的决策力、洞察发现力和流程优化等能力。

因此，很多IT企业都将大数据作为其重要的发展战略，如亚马逊、脸谱网已布局大数据产业，并取得了骄人的成绩。事实上，不止谷歌、易趣网或亚马逊这样的大型互联网企业需要发展大数据，任何规模的企业都有机会从大数据中获得优势，并由此构建其未来业务分析的基础，在与同行的竞争中，取得显著的优势。

相较于大型企业，中小企业的大数据发展战略不同。大公司可以凭借雄厚的资本和技术实力，从自身环境和业务出发，开发自己的软件平台。而中小企业没有那样的技术实力，也没有那么庞大的资金投入，更倾向于选择一个普遍的、相对廉价的解决方案。

本文旨在分析大数据环境下数据库的特点，结合当下流行的Hadoop框架，提出了一种适用于大数据环境的数据仓库的解决方案并实现。为中小企业在大数据环境中构建数据仓库提供参考。其具体说来，主要有以下三方面意义：

首先，目前主流的数据库如Oracle、SQL Server都有对应自己数据库平台的一整套的数据仓库解决方案，对于其他的关系型数据库如MySQL等，虽然没有对应数据库平台的数据仓库解决方案，但有很多整合的数据仓库解决方案。

而对于非结构化的数据库，因其数据模型不同于关系型数据库，需要新的解决方案，本文提出的基于Hive/Pentaho的数据仓库实现方案可以为其提供一个参考。

其次，通过整合多源非结构化数据库，生成一个面向主题、集成的数据仓库，可为大数据平台上的联机事务处理、决策支持等提供数据环境，从而有效利用数据资源辅助管理决策。

再次，大数据是一个广泛的概念，包括大数据存储、大数据计算、大数据分析等各个层次的技术细节，本文提出的“大数据环境下的数据仓库解决方案及实现“丰富了大数据应用技术的生态环境，为大数据环境下的数据分析、数据挖掘等提供支撑。

三、国内外研究现状和发展趋势的简要说明：

本文研究的主体是数据仓库，区别于传统基于关系型数据库的数据仓库，本文聚焦大数据环境下基于非结构数据库的数据仓库的构建与实现。因此，有必要从数据仓库和大数据环境下的数据库两方面进行阐述。

（一）数据仓库国内外研究现状：

自从Bill Inmon 在1990年提出“数据仓库”这一概念之后，数据仓库技术开始兴起，并给社会带来新的契机，逐渐成为一大技术热点。目前，美国30%到40%的公司已经或正在建造数据仓库。现如今随着数据模型理论的完善，数据库技术、应用开发及挖掘技术的不断进步，数据仓库技术不断发展，并在实际应用中发挥了巨大的作用。

以数据仓库为基础，以联机分析处理和数据挖掘工具为手段的决策支持系统日渐成熟。与此同时，使用数据仓库所产生的巨大效益又刺激了对数据仓库技术的需求，数据仓库市场正以迅猛的势头向前发展。

我国企业信息化起步相对较晚，数据仓库技术在国内的发展还处于积累经验阶段。虽然近年来，我国大中型企业逐步认识到利用数据仓库技术的重要性，并已开始建立自己的数据仓库系统，如中国移动、中国电信、中国联通、上海证券交易所和中国石油等。

但从整体上来看，我国数据仓库市场还需要进一步培育，数据仓库技术同国外还有很大差距。为此，我国许多科技工作者已开始对数据仓库相关技术进行深入研究，通过对国外技术的吸收和借鉴，在此基础上提出适合国内需求的技术方案。

（二）非结化数据库国内外研究现状：

随着数据库技术深入应用到各个领域，结构化数据库逐渐显露出一些弊端。如在生物、地理、气候等领域，研究面对的数据结构并不是传统上的关系数据结构。如果使用关系数据库对其进行存储、展示，就必须将其从本身的数据结构强行转换为关系数据结构。

采用此种方式处理非结构数据，不能在整个生命周期内对非关系数据进行管理，并且数据间的关系也无法完整的表示出来。在此背景下，非结构化数据库应运而生。相较于关系数据库，非结构数据库的字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成。

如此，它不仅可以处理结构化数据，更能处理文本、图象、声音、影视、超媒体等非结构化数据。近年来，随着大数据兴起，非结构数据库开始广泛应用，以支持大数据处理的多种结构数据。

目前，非结构化的数据库种类繁多，按其存储数据类型分，主要包含内存数据库、列存储型、文档数据库、图数据库等。其中，常见的内存数据库有SQLite，Redis，Altibase等；列存储数据库有Hbase，Bigtable等；文档数据库有MangoDB，CouchDB，RavenDB等；图数据库有Neo4j等。

近年来，我国非结构数据库也有一定发展，其中最具代表的是国信贝斯的iBASE数据库。可以预见在不久的将来，伴随这大数据的应用，非结构数据库将会得到长足的发展和广泛的应用。

应该说，现在是国产分布式数据库发展的利好时期。在讨论发展前景前，首先要先看看分布式数据库的发展方向。

大家把传统关系型数据库称作oldSQL，给人感觉要被淘汰似的。但其实数据量不是很大或者事务处理的场景夏，关系型数据库的还是占优的。

关系型数据库的主要问题在于：

性能瓶颈，

单一模型（关系模型），只适合OLTP

应对业务的灵活性不够，

d性扩充能力不够，

两地三中心和双活等问题上不足。

随着互联网和手机的飞速发展，无论从用户规模、使用频率、还是场景多样性都使得这些问题浮出水面。其实Oracle在92年就开始尝试转向分布式，还当时引起了业界的巨大争论，最后失败。更何况过去CPU、内存、存储、带宽的高成本导致分布式数据库的性价比并不高，只能停留在学术阶段，限制了分布式的发展。

新分布式数据库首先是要避免和传统关系型数据库的竞争，这是明智的选择，能够轻装上阵。因此从几个方面入手，应对海量数据处理、分析、缓存、流式处理、开发模式等等。相对应列式，KV，Document等多种存储数据结构。

所有这些都被称为NoSQL数据库，放弃ACID和事务能力还换取性能。然而，NoSQL又收到了大量的批评反对意见，主要是说把数据库应该处理的问题交还给了开发是种发展的倒退。这些问题包括，索引、版本、SQL支持、事务支持等等。市场上超过90%的开发员都需要SQL，而且SQL也是非常有效和成熟。于是大家无论底层是什么存储结构又开始支持SQL，形成了NewSQL。

这里插一句题外话，在硅谷已经不再用SQL、NoSQL、NewSQL来划分数据库了。理由很简单，SQL是一种语言，从来没有SQL数据库的说法，自然也不应该有NoSQL数据库的说法。NewSQL数据库就更不合理，用的SQL并非什么“New“的新东西。所以专业上用关系型和非关系型数据库来划分，分布式数据库主要都是非关系型数据库。

回过头来看国内分布式数据库市场需求，中小企业不满足Mysql的性能，分库分表又很难搞，也不彻底；大型企业被Oracle等垄断支付高额成本，而且又不解决实际碰到的瓶颈问题。因此，用户都在寻找新的解决方案。小型用户、云计算的用户、大型企业都需要对应的分布式数据库产品。

再加上国产自主和去IOE浪潮，更加推动了国产分布式数据库的发展利好。值得注意的是，数据库研发是个严肃的事情，没法短平快。

下文来自CSDNOracle对Sun的收购引发了人们对Java未来的一丝担心，Oracle能否继续保持Java的开放性，面对Ruby、Python或PHP 等一批轻量型语言的崛起，Java能否继续保持其在开发领域的领导地位？14年前，Sun公司的一位营销天才把一门试验性的跨平台语言由象征踏实的Oak（橡树），改名为香气四溢的Java（咖啡）时，可能他没有想到这 门语言能有后来的辉煌。事实上，如果现在Sun想为这门语言改名，以准确体现其在计算机行业的地位，似乎Oak更形象。今天，虽然Java语言并非真正意 义上的遍地开花，但它已经出现在众多场合和设备中，而且它享有运行稳定、设计精良的美名Java代码也许无法主导所有计算机或所有平台，但它离成为通用语言已近在咫尺。Java之父詹姆斯戈斯林（James Gosling）在Oracle主办的OpenWorld大会上登台发言时阐述了这一点。他调出JavaFX幻灯片，上面是一连串统计数字：超过8.5亿 个具有Java功能的桌面机和大约100亿个具有Java功能的设备。实际上，Java虚拟机在电子设备中司空见惯：电子书阅读器Kindle、蓝光磁盘 播放机和智能电话（包括不太智能的手机）等。iPhone(手机上网)应用程序可以在成千上万部iPhone上运行，但Java嵌入在26亿部手机上，从 不太智能、20美元就能买到的手机，到最新一代的黑莓和Android手机无一不包。请戈斯林到OpenWorld大会上演讲，只是Oracle掌门人拉里埃利森（Larry Ellison）希望向工程师们一再保证这门语言前途光明的手段之一。Oracle想要并购Sun，但它仍得等待欧洲监管部门批准这一决策。美国政府已开 了绿灯，但欧洲政府官员由于担心MySQL的发展还没有同意这一起交易。戈斯林和Sun董事长麦克尼利（McNealy）都表示，一旦并购工作完 成，Java会从Oracle得到比以往更多的关注和资源。从近期来看，埃利森传达的信号也许不是很重要，因为如今Java已成气候，要改变发展方向也并不容易。当然，也有一些人认为，Oracle的商业模 式太不一样了，所以它必然会对Java生态系统的每个部分进行重大变化。总体来说，每拿出一个Java可能变化的理由，就有同样充足的理由表明 Oracle可能还是希望保持现状。企业级应用是主战场Java最先在服务器端找到了自己的位置，未来这个领域仍是有望看到Java虚拟机的主要地方。对Oracle的所有产品来说，大型服务器也是主要 的安身之处，所以出现这对组合自在情理当中。虽然PHP编程员青睐MySQL，但对数据密集型的企业应用来说，许多最要紧的项目还是使用基于Oracle 的架构封装而成的Java，这种情况应该不会很快发生变化。Sun称，GlassFish应用服务器每个月的下载量超过100万人次，Tomcat等比较旧的平台仍然很常见。由于Java这项技术备受推崇、 运行速度快、真正跨平台，大型企业（如银行和保险公司）对Java开发人员求之若渴。不过，Java不再被认为是最新最酷的语法。一些编程员对静态类型语言的结构满腹牢骚，纷纷改用更新颖或更简单的语言，比如Ruby、Python 或PHP。现在许多较简单的Web应用程序就是用这些语言开发而成的，因为它们编写的代码容易修改，能快速建立原型。然而，这些使用便捷的新语言常常离不 开Java: Ruby开发人员常常使用JRuby（基于Java实现的Ruby语言），因为Java虚拟机能够更出色地处理繁重任务、释放多个线程。Jython（基 于Java实现的Python语言）也相似。Java现在正在加入一些最新的编程技术，以此遏制这些新语言大举入侵。Grails明显模仿了Ruby on Rails的许多简单的说明性模式；Grails这种框架利用名为Hibernate的数据库中间件，把Groovy等脚本插件结合起来。Groovy本 身添加了众多的动态选项便于代码解释，同时可以直接链接至Java应用编程接口（API）的任何部分。甚至不需要考虑Python或Ruby，因为 Groovy凭借一种精巧、现代的语法，让Java编程员可以使用似乎变化无穷的庞大库和底层稳若磐石的虚拟机。走上移动之路Java手机的数量（估计约26亿部）委实惊人，因为市面上许多最简单的手机里面都运行Java平台微型版（Java ME）。这让Wattpad.com等公司得以构建在整个第三世界都能顺畅运行的文档阅读平台。不过，运行Java的智能电话数量相对少一点。iPhone的巨大成功激励许多人重新学习Objective C，这门语言让编程员对于内存使用等一些系统问题提高了控制能力。Java为编程员隐藏了大部分底层问题，这是个优点，但前提是不需要管理内存等资源，因 为要是垃圾收集出现一个小失误，有些游戏就运行不了。可遗憾的是，因为电池续航时间是极其重要的一个因素，智能电话需要比几乎其他任何平台更严格的资源管 理。不过，Java编程员仍然很吃香，因为黑莓手机在其新平台上继续采用Java ME：它为手机的情景模式（profile）添加了支持触摸屏和方向感应器的功能。而Android存在不可预知的因素。由于谷歌开放了Android的 使用，许多手机厂商搭上Android这辆彩车。谷歌的Android建立在开源Apache Harmony及其类上，而不是建立在Sun开发的Java开发工具包（JDK）和Java ME上。对使用Eclipse编写代码的人来说，它们看上去几乎一模一样。在其他许多情况下也无关紧要，因为Android开发使用了很多XML表单，但 如果这两套开发框架离对方渐行渐远，这种分裂可能会变成大问题。收复桌面阵地大多数人仍然认为Java在桌面端从来没有取得成功，这是过去。如今，Java正在缓慢而稳步地渗入到现代 *** 作系统的各个角落。虽然用Swing编 写的标准应用程序因试图定位在每个平台的最基本部分而继续遭殃，但是有了像JavaFX和Web Start这些比较新的开发平台和框架，就有可能通过Web有效地部署软件。本地平台可处理Java归档（JAR）的所有缓存工作。只要点击链接，有时偶 尔随后点击几下授予权限的对话框，软件就可以安装及更新，还可以随时运行。JavaFX仍然是一个名副其实的未知因素。图形功能现在可与Adobe的Flash相竞争；计算引擎可支持大部分的Java API，但这门语言是一门奇怪的混合语言，融合了正宗Java、JavaScript及其他的一些标记语言。其代码比正规的Java简单，所以Java编 程员又要学习新的东西。不过，对极具互动性的桌面工具而言，新的动画类也许值得花时间学习。Web Start正在继续慢慢改进通过浏览器直接把软件部署到桌面的功能。抢占嵌入式领域Java还在人们最预料不到的地方茁壮成长。虽然C编程人员可能从来不会承认Java虚拟机巧妙处理存储区、快速运行的功能，但Java在非智能手 机、机顶盒、嵌入式芯片、Kindle及其他低功耗设备取得的成功表明：Java虚拟机完全有能力在嵌入式应用方面一展身手。Java的普及性还帮助编程 人员从大平台迁移到小平台。虽然为大型机开发企业级应用软件改成开发小型嵌入式代码并不简单，但Java标准大大简化了这种转变，这让其他许多工具自叹弗 如。Java程序包也在变得越来越小巧。戈斯林用尘埃来形容一台硬币大小、能够识别Java的计算机。JavaCard是面向这类小型程序包的一种虚拟 机和API，它即将迎来3.0版，这个里程碑式版本将增添网络连接功能。尽管这些小不点还没有小得足以放入到人的眼睛中，但直接与互联网通话的功能却让它 们显得极具诱惑力。合作伙伴会分道扬镳？所有开发人员的最大担心是：要是Oracle收购Sun的交易尘埃落定，会出现什么样的利益冲突变化？Oracle是靠收取大笔的软件许可费成长壮 大，其软件可运行在客户想要购买的任何硬件上。而另一方面，Sun通常是免费赠送软件，然后通过销售服务器赚到一些钱。这些经销策略也许不会立即发生变 化，因为惯性实在太太了，但谁也不知道将来Oracle会做出怎样的决策。一些人认为，Oracle过去在收取大笔许可费方面屡试不爽，只会鼓励埃利森对Sun采取类似的手法。也许Oracle的销售团队眼下就在垂涎这个 机会：针对Java以前免费的地方开始逐步提高许可费。为了避免重新编写Java平台企业版（Java EE）应用软件，许多企业很可能宁可支付每个CPU 100美元、200美元甚至100万美元的费用。批评人士指出，Oracle很容易开发出新版Java虚拟机，针对不同的市场推出不同的性能级别。桌面虚拟机可能保持免费，Oracle甚至可能会 掏钱请电脑厂商来推销Java和JavaFX，而处理极限多线程方面的性能改进可能会收取非常高的费用。从用户身上捞钱有好多法子，许可费相比之下往往便 宜得多：要是让拒不服从的编程员先学习一门新语言，然后重新编写代码库，那成本高多了。但也有人认为，Oracle也许不会采用这一招。一名接近Sleepycat（这家开源数据库公司在2006年被Oracle收购）的消息人士表 示，Oracle已把技术队伍的规模扩大了约一倍，而所有双许可模式原封不动。软件仍然采用开源或商业许可证这两种形式。如果Oracle像 Sleepycat那样对待Java，社区许可及其他方案仍然会跟以前一样免费、随处可得，同时有更多的工程师来改进代码。与其他各大Java合作伙伴的长期关系方面仍存在更深层的问题。谷歌继续支持Apache Harmony，这个代码超过125万行的项目似乎一心要破坏Sun作为世界中心的地位。IBM输掉了争夺Sun的竞标战，现在发现竞争对手Oracle 的实力更强劲了。IBM设计了Eclipse开发工具，可能也会开始把Java平台带往另一个方向。其他合作伙伴的态度比较激烈。SAP公司首席技术官Vishal Sikka一再要求Sun发布Java社区进程（JCP），着重提到了Oracle在2007年提出的方案：将控制权交由一家开放、独立、与厂商中立的标 准组织，标准组织的所有成员在机会均等的前提下参与。虽然Oracle对相关细节基本保持缄默，但可以认为，这家公司会因为从Sun承袭过来的一些观点而 重新赢得尊重。但是，尽管其他合作伙伴可能会参与恫吓的举动，但他们可能会考虑度的问题，因为大家其实是相互牵制的，任何过激的行为都极可能会被阻止，因为大家都 认识到一次编写、到处运行理念具有的优势。如果为Android手机编写的代码无法很容易地迁移至索尼蓝光播放机或Glassfish服务器，另一门语言 就有机会应运而生。实际上已经有多家公司在编写工具包，让用户可以在iPhone上轻松运行Ruby on Rails或Python软件。另外，许多这些比较新的语言可能会成为不可小觑的竞争对手，而暗斗过多只会帮助它们攻城掠地。现在有几十种非常好、知名度小一点的开源程序包，只要 忠实的爱好者稍加转换，通常就能把它们移植到每个平台上。比如，Python已经是一些科学领域的主要语言，谷歌选择Python、而不是Java作为其 应用引擎（App Engine）支持的第一种语言。虽然IBM、Oracle和谷歌在争夺主导权的竞争中可能会相互排挤，但它们必须认识到：所有人都受益于标准化，而不是 垄断。要是谁敢过于排挤别人、企图一手控制Java，其他厂商可能会奔向其竞争对手。Java也开应用程序商店？Java代码库仍相当有凝聚力、相对标准化，这个事实惹得众人猜测：Sun（如果合并案完成，还有Oracle）到底会怎样利用Java的普及性来 大发其财，又不提高许可费、挤压每个人？如果有人开发出一种面向整个Java生态系统的应用程序商店（App Store），从而像销售面向iPhone的应用程序那样销售用Java编写的小组件（widget）它们可以在桌面、手机、蓝光播放机或可以使用 Java的其他任何平台上运行，将会怎么样？最近已经有了面向Android手机的一批数量可观的应用程序，Sun也在谋划一家Java商店，好让人们只需把应用程序拖到桌面上，或者只要再编 一点代码，就可以把各应用程序结合起来，从而让它们可以在Java世界的几乎每个角落里运行。不过，处理截然不同的屏幕和用户界面还是个挑战。设想一下这种场景有多吸引人：开发人员编写的某个应用程序在Android手机上运行着，他在办公桌面上处理任务，回到家后在客厅的蓝光播放机上顺 畅运行。把Java应用程序带到坐沙发的人面前甚至有点出人意料，因为Java这门语言在被叫做Oak的早期阶段，本意就是运行在机顶盒上。这种远景将依赖 于Java平台的最大优点：普及性和跨平台的稳定性，也许这些优点会帮助Java给其发明者带来滚滚收入。

---