国内做大数据解决方案的公司有哪些？

随着“大数据时代”的来临，企业越来越重视数据的作用，数据给企业带来的价值也越来越多。本文档将介绍大数据给企业带来的机遇与挑战以及企业的大数据解决方案。

第一步先搞清楚什么是大数据？他不是简单的大量数据或海量数据，而是有着4V特征的数据金矿。他给我们的企业会带来机遇与挑战。

第二步我们根据大数据的特征，分析企业大数据平台要迎接大数据的挑战，应该具备什么样的能力。

第三部分，基于大数据平台要求，我们提出一个企业大数据的技术解决方案，介绍解决方案是如何解决大数据难题。

最后我看一看大数据应用当前存在的问题，未来将会怎样发展。

什么是大数据？

从数据角度看，大数据不是简单的大和多，大数据致电一把柒叁耳零一泗贰五领，而是有着4V的特征。简单说就是体量大、样式多、速度快、价值低。

体量大：最新研究报告，到2020年，全球数据使用量预计暴增44倍，达到352ZB。我们说大数据时，一般企业数据量要达到PB级才能称为大数据。

样式多：除了量大，大数据还包括了结构化数据和非结构化数据，邮件，Word,，音频信息，视频信息等各种类型数据，已经不是以往的关系型数据库可以解决的了。

速度快：这里说的是数据采集的速度，随着电子商务、移动办公、穿戴设备、物联网、智能小区等等的发展，数据产生的速度已经演进到秒级。企业要求能够实时获取数据，实时进行决策。

价值低：指的是价值密度，整个数据的价值是越来越高，但是因为数据量的壮大，数据价值密度也相应降低，无价值数据要占据大部分，企业需要从海量的业务中寻找价值。

从开发人员角度看，大数据和以往的数据库技术、数据仓库技术是不同的，他代表以Hadoop、Spark为首的一系列新技术。

这类技术的显著特点是：分布式、内存计算。

分布式：简单的说，分布式就是将复杂的、费时的任务拆分为多个细小的任务，并行处理。这里的任务就包含了数据采集、数据存储、数据处理。

内存计算：实质上就是CPU直接从内存而非硬盘上读取数据，并对数据进行计算、分析。内存计算非常适合处理海量的数据，以及需要实时获得结果的数据。比如可以将一个企业近十年几乎所有的财务、营销、市场等各方面的数据一次性地保存在内存里，并在此基础上进行数据的分析。

数据挖掘：大数据的核心实际上还应该包括数据挖掘技术，这是一个和统计学联系紧密的技术，粗略的划分为分类、聚类、预测、关联四大类，可从大量的、不完全的、模糊的数据中利用数学方法，提取出潜在的规律或知识。

大数据平台要求

大数据的能力分为数据采集、数据存储、数据计算或处理、数据挖掘、数据展现五个方面。

数据采集：需要对于海量数据、实时数据的采集能力，这是数据利用的第一步。

数据存储：对应大数据特点，需要大容量、高容错、高效率的存储能力，这是数据利用的基础。

数据计算：需要强大、廉价、快速的数据处理货计算能力，强大对应大数据的量大、类型多，廉价对应大数据的价值密度低，快速对应大数据的速度快，这是大数据能够发展的关键。

数据挖掘：要能够全角度、多方位的立体分析挖掘数据价值，应用好数据挖掘才能将数据转化为价值，这是数据利用的核心。

数据展现：多途径、直观、丰富的数据展现形式是数据的外在形象，这是数据应用的亮点，是能够得到用户认可的窗口。

以上是对于大数据平台需要解决的问题，必须具备的能力，数据提出的要求。

技术解决方案

企业大数据解决方案从数据处理流程上分为数据采集层、数据存储层、数据计算层、数据挖掘层、数据展现层，每一层解决大数据所需的关键难题。其中标黄的部分是传统数据处理技术。

数据采集层：

数据采集技术分为实时采集和定时采集，实时采集采用Oracle GoldenGate等工具，实时增量采集数据，保证数据的及时性；定时采集采用SAP Data Services等工具相结合的方式，定时抽取数据，主要用于大批量、非实时性数据。加入kettle、sqoop等分布式ETL工具，丰富多样化数据抽取服务，同时加入整合实时数据的kafka服务，处理大量实时数据。

数据存储层：

数据存储区在传统oracle的基础上，加入分布式文件系统、分布式列式数据库、内存文件系统、内存数据库、全文搜索等模块。其中，分布式文件系统ceph由于拥有数据分布均衡，并行化度高等特性，所以用于存储非结构化数据；分布式文件系统Hdfs由于拥有极佳的扩展性和兼容性，用于存储其他结构化数据；列式存储数据库hbase主要用于存储特定需求的海量数据，以供运算查询等服务。

数据计算层：

计算层采用标准SQL查询、全文搜索、交互分析Spark、实时数据处理Streaming、离线批处理、图计算Graph X等技术，对结构化数据、非结构化数据、实时数据、大批量数据进行数据计算处理。

核心计算方式spark内存计算引擎的优势：

轻量级快速处理。

易于使用，Spark支持多语言。

支持复杂查询。

实时的流处理。

可以与Hadoop和已存Hadoop数据整合。

可以与Hive整合

数据挖掘层：采用Spark_Mllib、R、Mhout等分析工具，依据模型分析引擎创建模型、算法库。由模型算法库对模型进行训练，生成模型实例，最后依据模型实例进行实时决策及离线决策。

数据展现层：提供门户展现、数据图表、电子邮件、办公软件等多种数据分析方式，在展现途径上可支持大屏幕、电脑桌面、移动终端等。

结束语

随着高性能计算机、海量数据的存储和管理的流程的不断优化，技术能够解决的问题终将不会成为问题。真正会制约或者成为大数据发展和应用瓶颈的有三个环节：

第一、数据收集和提取的合法性，数据隐私的保护和数据隐私应用之间的权衡。

任何企业或机构从人群中提取私人数据，用户都有知情权，将用户的隐私数据用于商业行为时，都需要得到用户的认可。然而，目前，中国乃至全世界对于用户隐私应当如何保护、商业规则应当如何制定、触犯用户的隐私权应当如何惩治、法律规范应当如何制定等等一系列管理问题都滞后于大数据的发展速度。未来很多大数据业务在最初发展阶段将会游走在灰色地带，当商业运作初具规模并开始对大批消费者和公司都产生影响之后，相关的法律法规以及市场规范才会被迫加速制定出来。可以预计的是，尽管大数据技术层面的应用可以无限广阔，但是由于受到数据采集的限制，能够用于商业应用、服务于人们的数据要远远小于理论上大数据能够采集和处理的数据。数据源头的采集受限将限制大数据的商业应用。

第二、大数据发挥协同效应需要产业链各个环节的企业达成竞争与合作的平衡。

大数据对基于其生态圈中的企业提出了更多的合作要求。如果没有对整体产业链的宏观把握，单个企业仅仅基于自己掌握的独立数据，无法了解产业链各个环节数据之间的关系，对消费者做出的判断和影响也十分有限。在一些信息不对称比较明显的行业，例如银行业以及保险业，企业之间数据共享的需求更为迫切。例如，银行业和保险业通常都需要建立一个行业共享的数据库，让其成员能够了解到单个用户的信用记录，消除担保方和消费者之间的信息不对称，让交易进行的更为顺利。然而，在很多情况下，这些需要共享信息的企业之间竞争和合作的关系同时存在，企业在共享数据之前，需要权衡利弊、避免在共享数据的同时丧失了其竞争优势。此外，当很多商家合作起来，很容易形成卖家同盟而导致消费者利益受到损失，影响到竞争的公平性。大数据最具有想象力的发展方向是将不同的行业的数据整合起来，提供全方位立体的数据绘图，力图从系统的角度了解并重塑用户需求。然而，交叉行业数据共享需要平衡太多企业的利益关系，如果没有中立的第三方机构出面，协调所有参与企业之间的关系、制定数据共性及应用的规则，将限制大数据的用武之地。权威第三方中立机构的缺乏将制约大数据发挥出其最大的潜力。

第三、大数据结论的解读和应用。

大数据可以从数据分析的层面上揭示各个变量之间可能的关联，但是数据层面上的关联如何具象到行业实践中？如何制定可执行方案应用大数据的结论？这些问题要求执行者不但能够解读大数据，同时还需深谙行业发展各个要素之间的关联。这一环节基于大数据技术的发展但又涉及到管理和执行等各方面因素。在这一环节中，人的因素成为制胜关键。从技术角度，执行人需要理解大数据技术，能够解读大数据分析的结论；从行业角度，执行人要非常了解行业各个生产环节的流程的关系、各要素之间的可能关联，并且将大数据得到的结论和行业的具体执行环节一一对应起来；从管理的角度，执行人需要制定出可执行的解决问题的方案，并且确保这一方案和管理流程没有冲突，在解决问题的同时，没有制造出新的问题。这些需求，不但要求执行人深谙技术，同时应当是一个卓越的管理者，有系统论的思维，能够从复杂系统的角度关联地看待大数据与行业的关系。此类人才的稀缺性将制约大数据的发展。

极飞专注于做智慧农业，在农业公司里面也比较出名。智慧农业是当今世界发展的新潮流，根据空间变异，定位、定时、定量地实施一整套现代化农事 *** 作技术与监测管理的系统，是信息技术与农业生产全面结合的一种新型农业，比较符合当前中国农业的特色。智慧农业物联网是农业生产的高级阶段，是集新兴的互联网、移动互联网、云计算和物联网技术为一体，依托部署在农业生产现场的各种传感节点，是智慧农业的解决方案。因此极飞科技推出了一系列的产品例如：智慧农业管理平台，极飞物联网，农机自动驾驶系统，植保无人机，自动数据传输设备等等来解决类似智能温室大棚，大型农田里的水肥一体化，土壤里的病虫害。贯穿农业生产全周期，实现真正的无人化农业生产管理。

河南智能管家网络科技有限公司主营产品UU充电。

河南智能管家网络科技有限公司，位于郑州市高新技术开发区，2020年被评为河南高新技术企业，是一家专注于物联网大数据平台方案的开发、应用集成、以及电动车（两轮、三轮、老年代步车、电动汽车）充电桩的研发、生产、销售、运营、技术服务于一体的高科技企业。

智能管家物联网大数据平台，是公司研发人员在多个关键行业、重要领域中长期对物联网大数据平台以及物联网通讯产品的开发研究、时间应用的成果积累。平台底层结构模块化设计，可个性化增减，功能强大，成熟稳定，运行安全，可广泛为政府、社区、企事业单位等提供个性化需求的物联网整体解决方案。

在充电站业务方面，拥有长期的产品研发、生产、销售、运营等全产业链的业内经验与优势，为运营商、社区、医院、学校、工厂、市政等不同的客户，提供全方位的充电管理解决方案。智能管家始终坚持自主研发。

拥有多项独立的软件著作、专利等知识产权，产品通过权威部门的检测认证。我们始终秉承“以人为本、诚信守信、进去创新、追求卓越”的核心价值观，以用户与客户体验为根本，脚踏实地的做好每一件事，砥砺前行，竞先业界。

河南智能管家网络科技有限公司-关于我们

1齐安新
启安信成立于2014年，2020年在上交所上市。它专注于空间安全市场，为企业用户提供新一代企业级安全产品和服务。已经发展成为国内领先的基于大数据、人工智能、安全运营技术的安全提供商。
2深信不疑
成立于2000年，2018年在创业板上市，是一家专注于企业级安全、云计算、IT基础设施和物联网的产品和服务提供商。旗下拥有深信智能安防、深信云、深信新It三大业务品牌及子公司新锐科技，致力于承载各行业用户数字化转型过程中的基石工作。
3华为
成立于1987年，是全球领先的ICT基础设施和智能终端提供商。拥有规模领先的基础通信设施，致力于构建万物互联的智能世界，在电信运营商、企业、终端、云计算等领域构建了端到端的解决方案优势。
4天荣信科技集团
成立于1995年，是中国较早的安全企业，也是中国自主研发防火墙的创始人。目前已成为国内领先的安全、大数据、云服务提供商。天荣信多年来在国内安全防火墙领域处于领先地位，在安全硬件和整体安全市场更具竞争力。
5金星
成立于1996年，是国内具有完全自主知识产权的安全产品、可信安全管理平台、安全服务和解决方案的强大综合提供商。2010年在深圳中小企业板上市。启明星辰在入侵检测或入侵防御、统一威胁管理、安全管理平台、数据安全、运维安全审计、数据库安全审计与防护等市场占据领先地位。
6新华三
紫光的数字化转型服务品牌专注于新IT技术创新领域，专注于新IT解决方案和产品的研发、生产、咨询、销售和服务。新华三具备计算、存储安全等数字化基础设施的整体能力，提供包括云计算、大数据、智能连接、新安全、物联网、边缘计算、人工智能、5G等一站式数字化解决方案，以及端到端的技术服务。
7腾讯安全
腾讯安全作为互联网安全领导品牌，致力于成为产业数字化升级过程中的安全战略官。腾讯安全构建了以腾讯安全大脑为核心的自适应闭环安全防护体系，包括基础安全防护体系、安全运营中心和业务安全服务体系。
8吕蒙科技
成立于2000年，2014年在深交所上市，为金融、运营商、能源、交通、科教文卫等行业及各类企业用户提供全线安全产品、全方位安全解决方案和系统化安全运营服务。吕蒙科技有八个实验室:星云、吴歌、傅莹、天极、舒天、天元、平行和威胁情报。
9安恒信息
成立于2007年，2019年在科创板上市，是一家专注于信息安全领域的信息安全产品和服务提供商。是国内信息安全领域的佼佼者。公司专注于云安全、大数据安全、物联网安全、智慧城市安全和工业安全，拥有数百名一线安全专家和一条具有创新自主知识产权的安全产品线。
10亚信安全
是国内安全软件领域的佼佼者。亚信安全以身份安全为基础，以云边缘安全和端点安全为重点，以安全中心为枢纽，以威胁情报为支撑，构建“全云、全联动、全智能”的产品技术战略。公司依托四大产品服务体系，构建预测、防护、检测、响应的动态自适应安全模型。

十大网络安全公司排名为：深信服科技股份有限公司、奇安信、启明星辰信息技术集团股份有限公司、天融信科技集团、美亚柏科、蓝盾股份、绿盟科技、任子行、安恒信息、山石网科。

1、深信服科技股份有限公司

深信服科技股份有限公司是一家专注于企业级安全、云计算与IT基础架构的产品和服务供应商。业务覆盖：中国、美国、马来西亚、印尼、泰国、新加坡、阿联酋、越南、缅甸、巴基斯坦、菲律宾、意大利、韩国等50多个国家和地区。

2、奇安信

奇安信科技集团股份有限公司成立于2014年，凭借持续的研发创新和以实战攻防为核心的安全能力，已发展成为国内领先的基于大数据、人工智能和安全运营技术的网络安全供应商。

3、启明星辰信息技术集团股份有限公司

启明星辰信息技术集团股份有限公司成立于1996年，由留美博士严望佳女士创建，是国内极具实力的、拥有完全自主知识产权的网络安全产品、可信安全管理平台、安全服务与解决方案的综合提供商。

4、天融信科技集团

天融信从1996年率先推出填补国内空白的自主知识产权防火墙产品，到自主研发国内第一台ASIC架构防火墙，从全球首发新一代可信并行计算安全平台，到云时代超百G机架式“擎天”安全网关，天融信坚持自主创新，连续19年位居中国网络安全防火墙市场第一。

5、美亚柏科

厦门市美亚柏科信息股份有限公司成立于1999年9月22日，总部位于厦门市软件园二期，是国投智能的控股子公司。现已成长为国内电子数据取证行业龙头和公安大数据领先企业、网络空间安全及大数据智能化等领域专家。

6、蓝盾股份

蓝盾股份是中国信息安全行业的领军企业，公司成立于1999年，并于2012年3月15日在深交所创业板上市。公司构建了以安全产品为基础，覆盖安全方案、安全服务、安全运营的完整业务生态，为各大行业客户提供一站式的信息安全整体解决方案。

7、绿盟科技

绿盟科技集团股份有限公司（以下简称绿盟科技），成立于2000年4月，总部位于北京。公司于2014年1月29日在深圳证券交易所创业板上市。为政府、金融、运营商、能源、交通、教育、医疗以及企业等行业用户，提供全线网络安全产品。

8、任子行

任子行网络技术股份有限公司是中国最早涉足网络信息安全领域的企业之一，致力于为国家管理机构、运营商、企事业单位和个人网络信息安全保驾护航。参与多项国家公安部、国家工信部等多部委网络信息安全行业标准的制定，核心技术，承担30多项国家级重大课题研发。

9、安恒信息

杭州安恒信息技术股份有限公司（简称：安恒信息）成立于2007年，主营业务为网络信息安全产品的研发、生产及销售，并为客户提供专业的网络信息安全服务。产品及服务涉及应用安全、大数据安全、云安全、物联网安全、工业控制安全及工业互联网安全等领域。

10、山石网科

山石网科是中国网络安全行业的技术创新领导厂商，并于2019年9月登陆科创板。提供包括边界安全、云安全、数据安全、内网安全在内的网络安全产品及服务，致力于为用户提供全方位、更智能、零打扰的网络安全解决方案。

---