大数据处理必备的十大工具！

大数据的日益增长,给企业管理大量的数据带来了挑战的同时也带来了一些机遇。下面是用于信息化管理的大数据工具列表：

1.ApacheHive

Hive是一个建立在hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。

2JaspersoftBI套件

Jaspersoft包是一个通过数据库列生成报表的开源软件。行业领导者发现Jaspersoft软件是一流的,许多企业已经使用它来将SQL表转化为pdf,，这使每个人都可以在会议上对其进行审议。另外，JasperReports提供了一个连接配置单元来替代HBase。

3.1010data

1010data创立于2000年，是一个总部设在纽约的分析型云服务，旨在为华尔街的客户提供服务，甚至包括NYSEEuronext、 游戏 和电信的客户。它在设计上支持可伸缩性的大规模并行处理。它也有它自己的查询语言,支持SQL函数和广泛的查询类型，包括图和时间序列分析。这个私有云的方法减少了客户在基础设施管理和扩展方面的压力。

4.Actian

Actian之前的名字叫做IngresCorp，它拥有超过一万客户而且正在扩增。它通过Vectorwise以及对ParAccel实现了扩展。这些发展分别导致了ActianVector和ActianMatrix的创建。它有Apache，Cloudera，Hortonworks以及其他发行版本可供选择。

5.PentahoBusinessAnalytics

从某种意义上说,Pentaho与Jaspersoft相比起来,尽管Pentaho开始于报告生成引擎，但它目前通过简化新来源中获取信息的过程来支持大数据处理。Pentaho的工具可以连接到NoSQL数据库，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一个更有趣的图形编程界面工具)有很多内置模块，你可以把它们拖放到一个图片上,然后将它们连接起来。

6.KarmasphereStudioandAnalyst

KarsmasphereStudio是一组构建在Eclipse上的插件,它是一个更易于创建和运行Hadoop任务的专用IDE。在配置一个Hadoop工作时，Karmasphere工具将引导您完成每个步骤并显示部分结果。当出现所有数据处于同一个Hadoop集群的情况时，KarmaspehereAnalyst旨在简化筛选的过程,。

7.Cloudera

Cloudera正在努力为开源Hadoop,提供支持，同时将数据处理框架延伸到一个全面的“企业数据中心”范畴,这个数据中心可以作为首选目标和管理企业所有数据的中心点。Hadoop可以作为目标数据仓库，高效的数据平台，或现有数据仓库的ETL来源。企业规模可以用作集成Hadoop与传统数据仓库的基础。Cloudera致力于成为数据管理的“重心”。

8.HPVerticaAnalyticsPlatformVersion7

HP提供了用于加载Hadoop软件发行版所需的参考硬件配置,因为它本身并没有自己的Hadoop版本。计算机行业领袖将其大数据平台架构命名为HAVEn(意为Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中增加了一个“FlexZone”，允许用户在定义数据库方案以及相关分析、报告之前 探索 大型数据集中的数据。这个版本通过使用HCatalog作为元数据存储，与Hadoop集成后为用户提供了一种 探索 HDFS数据表格视图的方法。

9.TalendOpenStudio

Talend’s工具用于协助进行数据质量、数据集成和数据管理等方面工作。Talend是一个统一的平台，它通过提供一个统一的，跨企业边界生命周期管理的环境，使数据管理和应用更简单便捷。这种设计可以帮助企业构建灵活、高性能的企业架构,在次架构下，集成并启用百分之百开源服务的分布式应用程序变为可能。

10.ApacheSpark

ApacheSpark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎，因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时，它还用于事件流处理、实时查询和机器学习等方面。

数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程，也是标准化流程的构建过程。

根据每一个过程的特点，我们可以将数据治理流程总结为四个字，即“理”、“采”、“存”、“用”。

1.理：梳理业务流程，规划数据资源

对于企业来说，每天的实时数据都会超过TB级别，需要采集用户的哪些数据，这么多的数据放在哪里，如何放，以什么样的方式放？

这些问题都是需要事先进行规划的，需要有一套从无序变为有序的流程，这个过程需要跨部门的协作，包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。

2.采：ETL采集、去重、脱敏、转换、关联、去除异常值

前后端将采集到的数据给到数据部门，数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，目的是将散落和零乱的数据集中存储起来。

3.存：大数据高性能存储及管理

这么多的业务数据存在哪里？这需要有一高性能的大数据存储系统，在这套系统里面将数据进行分门别类放到其对应的库里面，为后续的管理及使用提供最大的便利。

4.用：即时查询、报表监控、智能分析、模型预测

数据的最终目的就是辅助业务进行决策，前面的几个流程都是为最终的查询、分析、监控做铺垫。

这个阶段就是数据分析师的主场，分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析，甚至是模型的预测。

电子商务：通俗来说就是企业通过网络,把线下的业务移到线上去开展,完成商品或者服务的销售交易。\x0d\x0a大数据：指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。\x0d\x0a近几年来，互联网产业高速发展，很多传统企业通过电子商务，开展网络营销，线上产生交易的数据量是线下无法比的，因而就产生了处理巨量资料，也就是大数据的急迫需求，解决不好，就成为电子商务发展的瓶颈。反之，大数据处理的成功发展，也促进了企业加速开展电子商务，为互联网产业的发展注入新动力。\x0d\x0a一、大数据处理模式\x0d\x0a在电子商务领域内，信息的大批量处理如果是以PB、EB、ZB为计量单位，则这些信息就构成了大数据。以往的计算机处理模式已经很难对这些大数据进行高效率的处理，势必会影响电子商务的总体发展。因此对大数据时代的计算机处理模式进行革新是获得电商行业整体突破的基本保证。传统的数据处理模式是数据库集群模式，大数据处理模式的基本要求是建构云计算MapReduce处理体系，使信息的分解处理和结果合并成为可能。\x0d\x0a(一)数据库集群模式\x0d\x0a集群模式的基本运行原理是将同一种应用程序通过不同的工作方法相互协调共同完成，在面对客户端的数据请求时，为其提供单一映像，并将这些映像通过一定的连接技术和方法与硬件系统进行连接，整体上建构一个松散耦合的集合。简单来说，数据库集群模式实现了数据库技术和集群技术的结合。数据库集群模式的运行较为平稳，具有多方面的技术优势，例如强大的靠扩展性、整体的可靠性等等。\x0d\x0a但是在面对大数据处理时，数据库集群也表现出了一定的缺陷。这些缺陷主要包含以下方面：第一是可扩展性补不强。如果系统功能节点的硬件基础设施选择的是Pc服务器，那么将会出现系统线缆繁杂、硬件高度复杂化和架设安装难度大等问题，对其扩展性造成了一定的限制第二是数据通信受限。目前运行高速互联网的必备条件是将PCI插槽与主机进行连接。但是PCI的数据传送能力有限，不能满足节点间的数据通信要求第三是提升空间小。这种空间主要是指数据库数据集的可扩展空间，在进行数据处理时如何解决系统的安全性、运算速度和可扩展性是数据库集群模式要面对的重要问题。此外，数据库集群模式还存在兼容性、可靠性、容错性、对异质条件支持能力等方面的局限性。\x0d\x0a(二)MapReduce框架\x0d\x0a云计算构架主要是由低端服务器进行大规模集群构成的数据处理技术，在数据存储容量和数据处理能力上具有绝对的优势。由于云计算平台在运行中的可靠性和可扩展性等功能，目前众多的大型企业或单位都将其作为web搜索和大数据分析的主要平台，如中国移动、淘宝、网易、百度等等。MapReduce框架主要包含三个方面的内容，即并行编程模型MapReduce、分布式文件系统(HDFs)、并行执行引擎。\x0d\x0aMapReduce的设计是由google完成的，主要是进行大数据集的计算处理工作，代表了分析技术的整体发展状态。MapReduce在进行数据处理时，先将对象进行抽象化处理，使其以映射和化简 *** 作对的形式呈现出来，其中映射部分进行数据的过滤，化简部分进行数据的聚集工作，在工作中均以良好的界面进行管理工作。对MapReduce计算过程进行分解，可以将其工作原理理解为将大数据集进行解构，解构之后的结果是形成了数量众多的小数据集，通过集群节点对这些小数据集进行分别处理，由此得出中间结果，将这些结果通过节点进行合并，就可以得出对整个大数据集的处理结果。\x0d\x0a二、大数据时代电子商务IT技术设施的革新\x0d\x0aIT基础设施是保证电子商务系统运行的前提，对其进行技术革新能够使其快速适应电子商务大数据时代。在后互联网技术时代，电子商务企业广泛采用的IT基础设施一般是PC服务器。随着数据信息处理规模的扩大和处理能力的要求不断增强，电子商务企业对于IT基础设施的革新正朝着小型化和集群化方向发展，与此同时，电商企业还需要不断地投入大量的人力和技术实现IT基础设施的维护、升级和更新。\x0d\x0a(一)数据仓库的发展\x0d\x0a从近期对电子商务信息处理数据的研究可以发现，在系统运行中出现的大数据仍在以惊人的速度发展和增长，其特点也表现为明显的分布式发展和异构性趋势。传统的数据库如具备一般数据处理功能和信息分析技术的数据库以及BI技术已经很大程度上不能满足PB级的数据量处理要求。这种大规模数据的发展促使电子商务数据仓库系统出现了非常明显的变革，也即是数据量数量级不断上调，目前已经实现了由TB向PB的迈进，并且仍呈现出爆炸性的增长态势。\x0d\x0a根据对现今电商数据量发展状况及趋势的研究，可以发现电子商务数据仓库将会呈现以下特点：第一，未来两年电商数据仓库的最大数据量将会达到甚至超过1OOPB，并且其增长速度也将呈现出前所未有的变化，远远超过摩尔定律第二，对数据的分析方式实现质的变化，将从常规化分析向深度化分析转变第三，中低端硬件组成的大规模集群硬件平台将会代替高端服务器构成的基础设施硬件支持平台，基础设施进一步向集群化发展由于硬件系统的革新将会对并行数据库产生了重要影响，使其规模不断扩大，由此带来的成本也将逐渐增长。总体来讲，目前电子商务将会出现大规模革新的直接因素是数据量的大规模增长和深度分析的现实要求。\x0d\x0a(二)云计算构架\x0d\x0a云计算构架是一种针对分布式网络计算而设计的新型数据处理模式，在应用中已经表现出了良好的适应性。在网络环境中进行计算、存储、软件等在线服务时较传统构架有显著的性能提升。在目前应用于电子商务领域内的云计算构架来讲，其具备了以下特征：按需自助服务(onDemandself-service)、可度量服务(measuredservice)、池化资源(resourcepooling)、泛化网络访问((broadnetworkaccess)以及快速d性(rapidelasticity)。\x0d\x0a三、大数据处理对电子商务的影响\x0d\x0a云计算的发展历史并不长，首次引入云计算技术的是淘宝网，其所有交易都是基于自建系统完成的，而阿里云也成为我国首家开展云计算供应的公司。云计算对于大数据的超强处理能力使其对电子商务的发展起到了推波助澜的作用，主要影响表现在以下方面。\x0d\x0a(一)信息检索能力\x0d\x0a电子商务平台虽然很大程度上改变了消费者的购物方式，但是就营销方式来说，商品数量和种类依然是影响消费者选择商家的主要因素。在电子商务领域内，商品数量和种类呈现出结构的繁杂化发展甚至是非结构化发展趋势。这些都为IT基础设施以及信息处理技术提出了挑战，大数据处理技术由于其具备的灵活性和功能强大的检索服务使其能够引领电子商务信息处理技术的新方向。\x0d\x0a云计算的检索服务可以根据客户的实际需求和交易习惯对大量的信息进行筛选和显示，其智能性和高效性也是传统IT基础设施多不能比拟的。此外，云平台还具有信息推荐功能，根据网上交易整体情况筛选热点商品予以展示，提高了交易的针对性和检索效率。云计算性能的优势还体现在对人类部分思维进行描述的功能上，解决了长期以来计算机信息处理不能够准确把握人类语言和知识应用的难题，使数据的处理实现了功能的深度发掘。这种技术优势表现在实际交易中就是电商平台能够对用户输入的语言进行迅速的反映，并能准确地提供用户所需耍的商品信息。这种处理过程极大地提高了信息服务的效率和质量，使用户满意度得到了很大的提升。\x0d\x0a(二)d性处理能力\x0d\x0a电子商务信息处理系统的工作性质使其必须具有强大的d性处理能力，并能够在极短的时间内做出反映以应对在系统运行中出现的各种问题。这些问题的出现并不是偶然的，而是随着用户的并发访问以及商家集体营销活动造成的大量订单信息所导致的，这些情况在当前的电商系统运行中是比较常见的，这就需要系统在面临突然增长的业务量时具有强大的扩容能力和数据的存储能力。\x0d\x0a云计算技术的出现在理论上实现了信息的无上限存储能力以及超大规模信息处理能力，使其能够轻松地应对TB数量级的信息乃至PB数量级的信息处理。而这一功能的实施并不需要企业对硬件系统进行更换，而且能够以比较低的成本享用云计算存储处理信息服务，在此基础上对应用系统机型全方位的布局并保证了d性处理能力的实现，使资源达到了最优化配置。\x0d\x0a(三)信息处理安全性能\x0d\x0a网络系统面临的最大难题是信息安全问题，保证交易安全和用户信息安全更是电商企业应时刻关注的话题。信息时代的一大特征是将信息转化为可利用的资源，甚至是直接创造经济价值的信息资本。电子商务领域内，大数据就是企业生存发展的重要资本，对于大数据的掌控能力将成为衡量企业核心竞争力的主要标志。但是大数据的出现同样给信息资源的安全带来了极大的挑战，由于其结构复杂，数量巨多，并且大多是具有敏感性的信息，很容易成为网络攻击的目标。\x0d\x0a大数据处理技术在应对信息安全是进行了性能的全面评估，使其能够及时、精确地定位各类网络攻击或非正常现象，并将这些异常数据收集整理通过分析实施预防措施。云计算技术的安全性还体现在将安全可靠的信息转化为云服务，并将这些信息托管在云端，为用户的信息提供了专业化的信息防护措施和保密方案。\x0d\x0a四、大数据处理的发展趋势\x0d\x0a信息技术的发展历史并不长远，但是在每个发展阶段都会出现具有标志性的技术类型和产品。在目前，信息技术的热点以及将会对信息产业产生重大影响的无疑是云计算技术和大数据处理f司题。在电子商务环境中大数据处理将会发展出更多强大和多元的功能，具体发展趋势有以下几点。\x0d\x0a(一)大数据处理服务和产品的多样化\x0d\x0a目前电子商务平台的服务和产品正在向着多元化的方向发展，除了电商企业之外，政府机构、大型集团企业、行政事业单位等都加入或正在加入构建云环境下的数据处理服务平台，并且可以实现对没有充足IT能力的小型电子商务企业进行服务和产品的输出。\x0d\x0a(二)新型的电子商务运营模式\x0d\x0a云计算的出现不仅对IT技术设施进行了大规模和深度的革新，同时其带来的众多产品如长尾效应、经济效应、众包、个性化服务等对于经济学概念的再认知也产生了重大的影响。这些变革有助于盈利性企业的经营模式做出重大的调整，进而加快了向服务经济社会发展的步伐。随着信息技术的进一步发展和现有技术的逐步完善，传统经济模式必将会受到严重的冲击，商业模式也会随之产生整体性的变动甚至是根本性的改变，并且在变化中不断进行新技术、新方法和新思路的探索。\x0d\x0a(三)IT设施将成为企业核心竞争力的重要组成部分\x0d\x0a企业的核心竞争力包含多方面的内容，但可以确定的是都是对企业发展具有重大影响的因素。随着现代信息化时代的发展和信息技术在各个领域内的广泛使用，企业成产、管理、经营等模块的信息化将会对企业能否适应社会的发展以及在日益激烈的市场中保持其竞争力产生举足轻重的作用。通过对IT基础设施进行引进和革新，能在最大限度内实现资源的最佳配置，提高生产质量和效率，降低企业运营成本，提升企业的整体管理水平。特别是对于信息技术依赖程度高的电子商务企业，云计算构架和大数据处理技术的可扩展性相当可观，为海量信息的存储、整合和管理提供了安全可靠的环境，通过IT基础设施的技术优势，为突破电子商务行业的发展上限提供了可能。

---