大数据近几年来可谓蓬勃发展,它不仅是企业趋势,也是一个改变了人类生活的技术创新。大数据对行业用户的重要性也日益突出。掌握数据资产,进行智能化决策,已成为企业脱颖而出的关键。因此,越来越多的企业开始重视大数据战略布局,并重新定义自己的核心竞争力。本文整理了在中国境内活跃的大数据领域最具影响力的企业,它们有的是计算机或者互联网领域的巨头,有的则是刚刚创办不久的初创企业。但它们有一个共同点,那就是它们都看到了大数据带来的大机会,并毫不犹豫地挺进了这个领域。
首先来盘点一下那些提供大数据工具的老牌厂商,看看他们是如何利用自身优势地位冲击大数据领域,并将新产品及新方案推广到新一轮技术浪潮当中?
大数据是比云计算还要新兴的一个术语,大数据开发致店一把柒叁二零一泗贰五零,但是不难发现,在业内,大数据被科技企业看作是云计算之后的另一个巨大商机,包括开运联合,IBM、微软、谷歌、亚马逊等一大批知名企业纷纷掘金这一市场;另外,很多初创企业也开始加入到大数据的淘金队伍中,如Cloudera、Clustrix等。但纵观国内大数据服务提供商市场,大数据这一概念,对国内企业来说或许还稍显陌生,在最具影响力的前30家企业中,国内企业几乎还是一片空白,相对来说,国内大数据起步较晚,但依旧有些企业不遗余力的投入大数据这片蓝海,并且发展态势良好。
下面就来盘点下大数据领域国内的主力阵营吧!
阿里巴巴 阿里巴巴拥有交易数据和信用数据,更多是在搭建数据的流通、收集和分享的底层架构。
开运联合 开运联合云服务整合了高性能的计算和存储能力,为大数据的挖掘和分析提供专业稳定的IT基础设施平台。
百度 百度的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。近来百度正式发布大数据引擎,将在政府、医疗、金融、零售、教育等传统领域率先开展对外合作。
浪潮 浪潮互联网大数据采集中心已经采集超过2PB数据,并已建立5大类数据分类处理算法。近日成功发布海量存储系统的最新代表产品AS130000。
腾讯 腾讯拥有用户关系数据和基于此产生的社交数据,腾讯的思路主要是用数据改进产品,注重QZONE、微信、电商等产品的后端数据打通。
中兴通讯 中兴通讯推出的“聚焦ICT服务的高效数据中心整体服务解决方案”,可帮助运营商有效解决大数据时代建设IDC面临的大部分问题,提升运营商ICT融合服务能力。
神州融 神州融整合了国内权威的第三方征信机构和电商平台等信贷应用场景的征信大数据,通过覆盖信贷全生命周期管理的顶尖风控技术,为微金融机构提供大数据驱动的信贷风控决策服务。
中科曙光 中科曙光XData大数据一体机可实现任务自动分解,并在多数据模块上并行执行,全面提高了复杂查询条件下的效率。
华胜天成 胜天成自主研发的大数据产品“i维数据”,颇具创新,近期又与IBM达成战略合作关系,涵盖Linux on Power市场、智慧城市、存储业务、管理服务、咨询与应用管理服务。
神州数码 “神州数码”启动了“智慧城市”战略布局,先后推出了市民融合服务平台、自助终端服务平台等产品,并在佛山、武汉等“智慧城市”建设中实践运用。
用友 用友在商业分析、大数据处理等领域进行研发,先后推出了用友BQ、用友AE等产品。
东软 东软大数据战略以医疗行业为突破口,凭借在社保、医疗行业积累的资源,搭建了东软熙康这一智慧医疗平台。
金蝶 金蝶KBI与金蝶ERP无缝集成,实现BI数据采集——集成——分析决策支持的一体化应用。
宝德 宝德大数据云备份,是一个专为大数据而设的云备份方案,支持实体机及虚拟机备份,而且具有无限扩充的可能,并且完全自动。
启明星辰 大数据时代的IP治理和审计,启明星辰提供了终端审计、终端数据防泄露、日志审计,通过综合审计平台来帮助用户解决IP治理需求等解决方案。
拓尔思 通过收购天行网安,可以拓展在公安行业的应用,目前正着力开拓行业应用市场,挖掘各个产业链中的大数据价值。
荣之联 零售、证券、生物、政府等都是荣之联大数据业务的主要目标行业,已为零售业提供了大数据分析的解决方案,解决了库存问题。
中科金财 作为国内领先的高端IT综合服务商,主要服务于金融业的大数据。
美亚柏科 专注于公安市场,其业务包括电子数据取证、电子数据鉴定、网络舆情分析、数字维权、公证云、搜索云以及取证云服务。
赛思信安 国内存储技术与服务供应商赛思信安推出了自主研发的大数据管理系统,适用范围包括互联网、公众服务、商业智能、金融、医疗卫生、能源等多个行业。
华宇软件 作为大数据、食品安全、法务软件等相关热门行业软件,同时也是公安领域大数据的上市公司。
天玑科技 天玑科技的数据中心运维管理服务,为大数据的分析能力提供了强大的后台支撑和保障。
东方国信 东方国信主营业务为企业商业智能软件及系统解决方案,收购北科亿力和科瑞明,有效拓展了工业和金融大数据领域。
华三 华三全融合虚拟化网络技术能够极大简化网络结构,减轻网络管理和维护量,为企业数据中心大规模建设提供最强有力的技术支持。
海康威视 海康威视基于英特尔Hadoop发行版,并融合可以灵活按需调配IT资源对应用和服务进行支持的开放架构云计算技术,打造出了视频智能云计算方案。
高德 高德与阿里将在地图搜索、产品商业化、数据共享、云计算等领域展开合作,特别是在数据共享方面,高德和阿里巴巴将共建一个大数据服务体系,
四维图新 作为提供导航地图、地理信息系统软件建设的内容提供商,现在已尝试使用大数据为政府部门提供决策。
海捷科技 专注于商业智能领域(BI)、数据仓库领域、数据库领域的专业咨询、项目实施、软件开发、系统集成等方面,为金融、电信、快速消费品等行业提供相应方案。
北京信合运通 信合运通专注于为运营商和行业客户提供基于大数据的深度分析和挖掘技术、渠道支撑服务及行业解决方案。
海云数据 专注于从事数据可视化,可为客户提供数据可视化的创意设计、制作和软硬件集成系统服务。
九次方金融数据 在国内唯一以企业大数据分析的角度对有投资价值和并购价值的企业进行价值判断,持续跟踪企业动态变化的金融大数据公司。
永洪科技 永洪BI通过完全自主知识产权的数据集市产品(Z-Data Mart)支持大数据,Z-Data Mart汇聚了数十项自有专利,涵盖了分布式存储和计算、分布式传输和实时通信等关键领域。
集奥聚合 作为大数据服务提供商,其DataQuate解决方案主要用于解决运营商大数据的接入、挖掘及应用,为运营商大数据的价值转化提供端到端服务。
华院数云 以数据挖掘为核心、以商业智能和精准营销为主线、以SAAS云平台为主要服务模式,目前专注于电商领域,为客户提供行业领先的数据分析和精准营销平台服务。
杭州诚道科技 致力于为浙江、全国公安交通管理行业提供一流的信息化服务、产品和方案解决能力,其借助英特尔Hadoop分发版,已解决了大数据的采集和处理问题。
勒卡斯 勒卡斯是致力于为客户提供全方位直复营销解决方案和服务的大数据公司,主要有潜客沟通、会员管理、CRM软件定制及客户市场调研四大业务。
国内做大数据的公司依旧分为两类:一类是现在已经有获取大数据能力的公司,如开运联合,百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内领军企业,涵盖了数据采集,数据存储,数据分析,数据可视化以及数据安全等领域;另一类则是初创的大数据公司,他们依赖于大数据工具,针对市场需求,为市场带来创新方案并推动技术发展。其中大部分的大数据应用还是需要第三方公司提供服务。值得一提的是,在金融风控领域,第三方风控平台神州融将征信大数据、IT风控系统与自动决策这些基础设施服务一站式打通,已为上百家消费金融、电商金融、P2P、小贷、等微金融机构提供便捷的大数据风控服务。
随着数据爆炸式的增长,我们正被各种数据包围着。正确利用大数据将给人们带来极大的便利,但与此同时也给传统的数据分析带来了技术的挑战,虽然我们已经进入大数据时代,但是“大数据”技术还仍处于起步阶段,进一步地开发以完善大数据分析技术仍旧是大数据领域的热点。
在当前的互联网领域,大数据的应用已经十分广泛,尤其以企业为主,企业成为大数据应用的主体。大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。随着企业开始利用大数据,我们每天都会看到大数据新的奇妙的应用,帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。
大数据分析:选对池塘钓大鱼世界第一行销之神杰亚伯拉罕的《选对池塘钓大鱼》一书中,把不同的客户群描述成鱼,而不同的客户群的集合就是不同的池塘,企业应该根据自己的目标客户,去思考怎样借助从别人已经建立起来的池塘中快速找到目标客户。
大数据分析挑战无限Gartner 调查显示:55%的组织正在实施大数据方案来提升客户体验,49%的组织使用大数据方案来改进流程效率42%的企业正在寻找新产品、建立新的业务模型。然而,大数据分析却是企业现今面临的一大挑战,因为他们不仅需要管理不断增长的原生数据而且,在物联网高度发展的今天,由于巨大数据量来源不同,有的来自传感器、机械设备,还有的来自社交媒体等等,多种多样的数据来源又给企业的大数据分析竖起一座屏障。
解决上述难题的条件,是企业必须要选择正确的大数据分析平台,即要选对池塘,只有这样才能钓出少量数据中的“大鱼”。
戴尔Cloudera数据分析应有尽有谈到大数据分析,毫无疑问,Hadoop是最受企业欢迎的数据分析平台。但Hadoop集群的安装、配置及运行,却有许多地方需要慎重考量。如软件方面,如何选择合适的Hadoop分布式与扩展软件和监测与管理软件?在硬件方面,如何分布Hadoop服务的物理节点?如何选择合适的服务器?在功能方面,Hadoop平台的性能与扩展性表现如何?等等。
针对Hadoop所存在的这一系列问题,戴尔联合Cloudera推出了Dell Cloudera大数据解决方案。
Dell Cloudera提供了包括硬件、软件、资源和服务在内所有Hadoop所需的东西。使用该解决方案,可帮助用户轻松解决与Hadoop部署、管理等相关的各种问题,快速从海量数据中的提取价值。
戴尔Cloudera软硬件兼施戴尔Cloudera是由Cloudera服务以及Cloudera管理套件组成的一个参考架构,可以让开源Hadoop在数据驱动的企业在生产环境中高效运行。
硬件结果处理更快速硬件方面,戴尔的PowerEdge C2100机架服务器和PowerConnect 6248以太网交换机都已经在大数据部署中成功应用,而戴尔Cloudera解决方案正是基于这个组件。Dell PowerEdge C2100服务器可让用户同时拥有内存和磁盘容量,它专门设计用于最大化数据中心中空间、电力和成本效益的。其中内存及存储的密度对数据中心至关重要,PowerEdge C2100可容纳18个DDR3内存插槽,最高支持144GB的内存容量,企业可以更快的速度获得数据分析结果。同时PowerEdge C2100机架服务器为MapReduce、Web analytics和数据库提供了内存以及磁盘。另外,Dell PowerConnect 6248提供了完整的48千兆以太网及3层交换机,支持更高效的机架密度以及核心交换的高级功能。
软件Hadoop管理更透明软件方面,在Hadoop集群内部以及Hadoop集群之间交付高能见度。戴尔Cloudera通过结合专家支持以及交付透明管理控制的软件,允许Hadoop维护人员以高效的方式进行集群资源的精确部署及管理。同时,戴尔Cloudera允许将与现代IT管理相似的业务指标以可支付的成本在生产环境中运行Hadoop集群,达到资源利用最优化。其内置的可预测功能能够预见Hadoop基础设施的改变,从而确保了 *** 作的可靠性。
此外,戴尔还为Cloudera大数据解决方案提供服务及支持。保证企业的解决方案由专业的软硬件团队支持,根据企业特定的需求进行量身定做。
戴尔Cloudera内存式大数据解决方案的惊人表现戴尔中国和SAP中国为某石油客户在SAP HANA数据库+Compellent存储全闪存技术的BI分析系统的性能:
?星形模型设计,包含2个事实表数据,明细数据模型、指标汇总模型?6个维度表数据,编号维表、ID维表、组织维度表、人员姓名、三级单位名称、分公司名称?主表包含180亿条记录,数据分析量超过60TB容量!
原有系统,2小时以上计算出结果,且易发生中断……采用戴尔Compellent存储全闪存技术在SAP HANA的新商业智能架构,单个查询缩短到20秒以内,400并发查询运行缩短到10分钟以内。
戴尔自身就是这一内存式“大数据”方案的使用者,用于企业内部的“精准营销” 智慧决策和分析系统。在2015年,戴尔更获得了"SAP HANA Innovation Award-2015"第一名的殊荣。
结语“鱼是游动的,机会也是在变化的,我们必须不断变化位置来寻找大鱼,并且在其饥饿的时候投下鱼饵,将其钓上来。”——《选对池塘钓大鱼》
在这个数据颠覆一切的时代,企业的数据不断变化,企业也要以不断发展的眼光挑选出适合自己的数据分析平台。选对平台,才能钓出数据池塘之下的大鱼——大价值。
特点:它们可以处理超大量的数据。
它们运行在便宜的PC服务器集群上。
PC集群扩充起来非常方便并且成本很低,避免了“sharding” *** 作的复杂性和成本。
它们击碎了性能瓶颈。
NoSQL的支持者称,通过NoSQL架构可以省去将Web或Java应用和数据转换成SQL友好格式的时间,执行速度变得更快。
“SQL并非适用于所有的程序代码,” 对于那些繁重的重复 *** 作的数据,SQL值得花钱。但是当数据库结构非常简单时,SQL可能没有太大用处。
没有过多的 *** 作。
虽然NoSQL的支持者也承认关系数据库提供了无可比拟的功能集合,而且在数据完整性上也发挥绝对稳定,他们同时也表示,企业的具体需求可能没有那么多。
Bootstrap支持
因为NoSQL项目都是开源的,因此它们缺乏供应商提供的正式支持。这一点它们与大多数开源项目一样,不得不从社区中寻求支持。
优点:
易扩展
NoSQL数据库种类繁多,但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系,这样就非常容易扩展。也无形之间,在架构的层面上带来了可扩展的能力。
大数据量,高性能
NoSQL数据库都具有非常高的读写性能,尤其在大数据量下,同样表现优秀。这得益于它的无关系性,数据库的结构简单。一般MySQL使用 Query Cache,每次表的更新Cache就失效,是一种大粒度的Cache,在针对web2.0的交互频繁的应用,Cache性能不高。而NoSQL的 Cache是记录级的,是一种细粒度的Cache,所以NoSQL在这个层面上来说就要性能高很多了。
灵活的数据模型
NoSQL无需事先为要存储的数据建立字段,随时可以存储自定义的数据格式。而在关系数据库里,增删字段是一件非常麻烦的事情。如果是非常大数据量的表,增加字段简直就是一个噩梦。这点在大数据量的web2.0时代尤其明显。
高可用
NoSQL在不太影响性能的情况,就可以方便的实现高可用的架构。比如Cassandra,HBase模型,通过复制模型也能实现高可用。
主要应用:
Apache HBase
这个大数据管理平台建立在谷歌强大的BigTable管理引擎基础上。作为具有开源、Java编码、分布式多个优势的数据库,Hbase最初被设计应用于Hadoop平台,而这一强大的数据管理工具,也被Facebook采用,用于管理消息平台的庞大数据。
Apache Storm
用于处理高速、大型数据流的分布式实时计算系统。Storm为Apache Hadoop添加了可靠的实时数据处理功能,同时还增加了低延迟的仪表板、安全警报,改进了原有的 *** 作方式,帮助企业更有效率地捕获商业机会、发展新业务。
Apache Spark
该技术采用内存计算,从多迭代批量处理出发,允许将数据载入内存做反复查询,此外还融合数据仓库、流处理和图计算等多种计算范式,Spark用Scala语言实现,构建在HDFS上,能与Hadoop很好的结合,而且运行速度比MapReduce快100倍。
Apache Hadoop
该技术迅速成为了大数据管理标准之一。当它被用来管理大型数据集时,对于复杂的分布式应用,Hadoop体现出了非常好的性能,平台的灵活性使它可以运行在商用硬件系统,它还可以轻松地集成结构化、半结构化和甚至非结构化数据集。
Apache Drill
你有多大的数据集?其实无论你有多大的数据集,Drill都能轻松应对。通过支持HBase、Cassandra和MongoDB,Drill建立了交互式分析平台,允许大规模数据吞吐,而且能很快得出结果。
Apache Sqoop
也许你的数据现在还被锁定于旧系统中,Sqoop可以帮你解决这个问题。这一平台采用并发连接,可以将数据从关系数据库系统方便地转移到Hadoop中,可以自定义数据类型以及元数据传播的映射。事实上,你还可以将数据(如新的数据)导入到HDFS、Hive和Hbase中。
Apache Giraph
这是功能强大的图形处理平台,具有很好可扩展性和可用性。该技术已经被Facebook采用,Giraph可以运行在Hadoop环境中,可以将它直接部署到现有的Hadoop系统中。通过这种方式,你可以得到强大的分布式作图能力,同时还能利用上现有的大数据处理引擎。
Cloudera Impala
Impala模型也可以部署在你现有的Hadoop群集上,监视所有的查询。该技术和MapReduce一样,具有强大的批处理能力,而且Impala对于实时的SQL查询也有很好的效果,通过高效的SQL查询,你可以很快的了解到大数据平台上的数据。
Gephi
它可以用来对信息进行关联和量化处理,通过为数据创建功能强大的可视化效果,你可以从数据中得到不一样的洞察力。Gephi已经支持多个图表类型,而且可以在具有上百万个节点的大型网络上运行。Gephi具有活跃的用户社区,Gephi还提供了大量的插件,可以和现有系统完美的集成到一起,它还可以对复杂的IT连接、分布式系统中各个节点、数据流等信息进行可视化分析。
MongoDB
这个坚实的平台一直被很多组织推崇,它在大数据管理上有极好的性能。MongoDB最初是由DoubleClick公司的员工创建,现在该技术已经被广泛的应用于大数据管理。MongoDB是一个应用开源技术开发的NoSQL数据库,可以用于在JSON这样的平台上存储和处理数据。目前,纽约时报、Craigslist以及众多企业都采用了MongoDB,帮助他们管理大型数据集。(Couchbase服务器也作为一个参考)。
十大顶尖公司:
Amazon Web Services
Forrester将AWS称为“云霸主”,谈到云计算领域的大数据,那就不得不提到亚马逊。该公司的Hadoop产品被称为EMR(Elastic Map Reduce),AWS解释这款产品采用了Hadoop技术来提供大数据管理服务,但它不是纯开源Hadoop,经过修改后现在被专门用在AWS云上。
Forrester称EMR有很好的市场前景。很多公司基于EMR为客户提供服务,有一些公司将EMR应用于数据查询、建模、集成和管理。而且AWS还在创新,Forrester称未来EMR可以基于工作量的需要自动缩放调整大小。亚马逊计划为其产品和服务提供更强大的EMR支持,包括它的RedShift数据仓库、新公布的Kenesis实时处理引擎以及计划中的NoSQL数据库和商业智能工具。不过AWS还没有自己的Hadoop发行版。
Cloudera
Cloudera有开源Hadoop的发行版,这个发行版采用了Apache Hadoop开源项目的很多技术,不过基于这些技术的发行版也有很大的进步。Cloudera为它的Hadoop发行版开发了很多功能,包括Cloudera管理器,用于管理和监控,以及名为Impala的SQL引擎等。Cloudera的Hadoop发行版基于开源Hadoop,但也不是纯开源的产品。当Cloudera的客户需要Hadoop不具备的某些功能时,Cloudera的工程师们就会实现这些功能,或者找一个拥有这项技术的合作伙伴。Forrester表示:“Cloudera的创新方法忠于核心Hadoop,但因为其可实现快速创新并积极满足客户需求,这一点使它不同于其他那些供应商。”目前,Cloudera的平台已经拥有200多个付费客户,一些客户在Cloudera的技术支持下已经可以跨1000多个节点实现对PB级数据的有效管理。
Hortonworks
和Cloudera一样,Hortonworks是一个纯粹的Hadoop技术公司。与Cloudera不同的是,Hortonworks坚信开源Hadoop比任何其他供应商的Hadoop发行版都要强大。Hortonworks的目标是建立Hadoop生态圈和Hadoop用户社区,推进开源项目的发展。Hortonworks平台和开源Hadoop联系紧密,公司管理人员表示这会给用户带来好处,因为它可以防止被供应商套牢(如果Hortonworks的客户想要离开这个平台,他们可以轻松转向其他开源平台)。这并不是说Hortonworks完全依赖开源Hadoop技术,而是因为该公司将其所有开发的成果回报给了开源社区,比如Ambari,这个工具就是由Hortonworks开发而成,用来填充集群管理项目漏洞。Hortonworks的方案已经得到了Teradata、Microsoft、Red Hat和SAP这些供应商的支持。
IBM
当企业考虑一些大的IT项目时,很多人首先会想到IBM。IBM是Hadoop项目的主要参与者之一,Forrester称IBM已有100多个Hadoop部署,它的很多客户都有PB级的数据。IBM在网格计算、全球数据中心和企业大数据项目实施等众多领域有着丰富的经验。“IBM计划继续整合SPSS分析、高性能计算、BI工具、数据管理和建模、应对高性能计算的工作负载管理等众多技术。”
Intel
和AWS类似,英特尔不断改进和优化Hadoop使其运行在自己的硬件上,具体来说,就是让Hadoop运行在其至强芯片上,帮助用户打破Hadoop系统的一些限制,使软件和硬件结合的更好,英特尔的Hadoop发行版在上述方面做得比较好。Forrester指出英特尔在最近才推出这个产品,所以公司在未来还有很多改进的可能,英特尔和微软都被认为是Hadoop市场上的潜力股。
MapR Technologies
MapR的Hadoop发行版目前为止也许是最好的了,不过很多人可能都没有听说过。Forrester对Hadoop用户的调查显示,MapR的评级最高,其发行版在架构和数据处理能力上都获得了最高分。MapR已将一套特殊功能融入其Hadoop发行版中。例如网络文件系统(NFS)、灾难恢复以及高可用性功能。Forrester说MapR在Hadoop市场上没有Cloudera和Hortonworks那样的知名度,MapR要成为一个真正的大企业,还需要加强伙伴关系和市场营销。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)