为什么要建设政务大数据

建设统一的大数据平台
首先说明下为何要建设数据资源库，其核心目的还是需要聚合原有分散在各个政务系统中的数据，大家要注意这里不是聚合所有数据，而是需要在多个政务系统共享的数据，在进行大数据分析的时候需要使用到的本身具有相关性的各类数据。这里的数据资源库和传统电子政务建设里面谈到的数据资源中心在业务上目标是一样的，纳入大数据平台后只是在构建过程中会应用到大数据相关技术如分布式存储，流计算等来解决对数据的海量和实时性要求。
数据资源库的建设本身包括了两个方面的内容，从业务上重点是数据标准，数据规范和接口，数据模型的建设，这个以往差别不大，唯一增加的内容是在数据模型建设中需要更多的考虑数据本身之间的相关性。其次是数据平台的建设，这里从技术上讲和传统区别相当比较大，一个是在建设数据平台过程中需要应用到大数据相关技术平台，如Hadoop平台等，这里已经不是一个单纯的数据存储平台，而是必须提供数据存储，数据处理和数据分析能力的完整平台，其次大数据平台建设的最终目标还是希望经过处理和分析后的数据能力能够共享和开发，体现业务价值，因此需要有大数据共享服务能力提供，即大数据平台本身还必须是可开放和共享的数据能力服务平台。
对于大数据平台的建设难点不在技术而是在业务上，这里面涉及到两个层面的数据开放和共享，一个是在政府行业内部各个部门间，工商，税务，质监，交通等各个部门的数据能够共享，这里面涉及到的部门和利益壁垒要想短期解决是很困难的事情；其次是大数据平台最终处理和分析后的能力能否进一步朝外面的企业和公共服务部门共享和开放，这是第二个层面的困难，在这一点上国外类似美国在政府部门大数据资源和数据目录开放程度就远远好于我国。具体可以看下涂子沛的《大数据时代》这本书。
二是加快计算服务能力和应用能力建设。引进公共云服务龙头企业，提供高质量的基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）等公共云服务；引导财政资金支持的信息化项目优先部署在统一的云计算基础设施，促进政务信息系统和信息资源的共享；面向贵州省建设电子政务、智能交通、智能物流、企业管理、智慧城市等方面的需求，发展服务功能强、商业模式新、带动效果大的行业云平台；面向企业研发、产品设计、生产控制、经营管理等方面需求，提供专业化的工业云计算服务；加快研发云计算平台资源管理软件、云安全防护产品、云模式应用软件，发展面向重点行业领域的云计算系统解决方案。
解读：计算服务和应用能力建设
对于这部分内容基本可以看到是常规的云计算平台和智慧城市方面的建设内容。政府很多时候规划往往就是没有了解一件事情的本质而一味的追求大而全的理想化建设模式。从最早的各地圈地大搞特搞云计算中心和产业基地；到智慧城市概念炒作起来的时候又把云计算，SOA，大数据，物联网等所有内容全部涵盖在智慧城市规划里面。而到了大数据时代，我们看到的规划效果又是所有内容似乎都恨不得全部纳入到大数据产业规划里面，搞理想化的大而全建设，结果平台项目建设过程中就夭折点，这个是每个政府部门做大数据规划前必须要考虑的问题，即必须清楚大数据本质是什么？希望通过大数据平台建设来解决什么业务问题，这个都没有想清楚不适宜开始大数据产业规划和建设。
那么是不是大数据平台和云平台完全没有关系？那也不是绝对。对于两者的关系在这里用最通俗的方式来进行下说明和对应。首先大数据本身需要存储，大数据在处理和聚合到数据资源平台过程中需要进行计算，那么就需要资源来提供计算和存储能力，而且这个能力可以d性扩展，这块能力的提供即是云计算平台IaaS层完成的内容。其次大数据在处理过程中涉及到数据集成，数据采集和聚合，数据并行处理，数据流处理，数据分析，数据服务能力共享和开放，这些能力已经是在资源层上层的能力，即平台层能力，而这些平台层能力都可以纳入到广义的云计算PaaS平台层。
三是加快大数据分析能力和利用能力建设。加强大数据分析关键算法和共性基础技术研发，开发专业化的数据处理分析工具，形成大数据基础技术与产品资源池；发挥大企业平台引领作用和专业大数据服务企业创新优势，加快市场化的大数据应用，发展第三方大数据服务，提供特色化的数据服务；支持数据开放、共享和应用服务，探索商业模式创新，推进大数据的公共应用；选择重点行业领域，开展基于云计算的大数据示范应用，推动专业化的大数据挖掘、分析、应用和服务发展，提高大数据行业应用能力。
解读：数据分析和利用能力建设
再次强调大数据核心是实现了业务价值和公共服务能力提升，如果我们建设的大数据平台和数据资源中心虽然实现了数据的聚合和数据模型的标准化，但是这些海量数据如果不能进行很好的挖掘和相关性分析，如果不能将数据本身的价值和能力通过服务化方式开放出来，那么整个大数据平台将没有任何价值。
贵州大数据产业战略里面谈到的将数据开放和共享出去，发展第三方大数据服务，推荐大数据公共应用并探索新的商业模式是相关关键的点。这仍然是商业模式和业务问题，而非技术问题，经过处理和分析的数据只有能够被使用，能够用于决策，能够为大众提供更加高效的公共数据服务才是最大的价值。
根据大数据本身的海量，异构，实时等特点，可以看到要针对海量异构数据进行数据挖掘和分析，同时有必须满足大数据分析的实时或准实时性要求还是相当有难度的。这一方面涉及到CEP，流处理，MPP，并行计算等各种技术的使用；一方面涉及到数据相关性分析模型的建立，两者缺一不可。
大数据平台建设本身又有两种模式，一种是先构建数据存储平台，再构建处理平台，最后再构建数据分析和挖掘平台；一种是根据业务目标来分析是否涉及到大数据应用场景，根据应用场景来分析究竟涉及到哪些相互关联数据，然后进行数据建模，再来考虑如何高效可扩展的对这些数据进行存储，处理和分析。对于政府部门的大数据我们更加建议第二种方式，即不要一开始就追求大而全，而是有针对性的各个击破，快速的体现出大数据平台应有的商业价值。

大数据技术可以理解为在巨量的数据资源中提取到有价值的数据加以分析和处理，主要的表现特征如下：

数据量大（Volume）。第一个特征是数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

类型繁多（Variety）。第二个特征是种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。

价值密度低（Value）。第三个特征是数据价值密度相对较低，或者说是浪里淘沙却又弥足珍贵。随着互联网以及物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代最需要解决的问题。

速度快时效高（Velocity）。第四个特征数据增长速度快，处理速度也快，时效性要求高。比如搜索引擎要求几分钟前的新闻能够被用户查询到，个性化推荐算法尽可能要求实时完成推荐。这是大数据区别于传统数据挖掘的显著特征。

首先说明下为何要建设数据资源库，其核心目的还是需要聚合原有分散在各个政务系统中的数据，大家要注意这里不是聚合所有数据，而是需要在多个政务系统共享的数据，在进行大数据分析的时候需要使用到的本身具有相关性的各类数据。这里的数据资源库和传统电子政务建设里面谈到的数据资源中心在业务上目标是一样的，纳入大数据平台后只是在构建过程中会应用到大数据相关技术如分布式存储，流计算等来解决对数据的海量和实时性要求。
数据资源库的建设本身包括了两个方面的内容，从业务上重点是数据标准，数据规范和接口，数据模型的建设，这个以往差别不大，唯一增加的内容是在数据模型建设中需要更多的考虑数据本身之间的相关性。其次是数据平台的建设，这里从技术上讲和传统区别相当比较大，一个是在建设数据平台过程中需要应用到大数据相关技术平台，如Hadoop平台等，这里已经不是一个单纯的数据存储平台，而是必须提供数据存储，数据处理和数据分析能力的完整平台，其次大数据平台建设的最终目标还是希望经过处理和分析后的数据能力能够共享和开发，体现业务价值，因此需要有大数据共享服务能力提供，即大数据平台本身还必须是可开放和共享的数据能力服务平台。
对于大数据平台的建设难点不在技术而是在业务上，这里面涉及到两个层面的数据开放和共享，一个是在政府行业内部各个部门间，工商，税务，质监，交通等各个部门的数据能够共享，这里面涉及到的部门和利益壁垒要想短期解决是很困难的事情；其次是大数据平台最终处理和分析后的能力能否进一步朝外面的企业和公共服务部门共享和开放，这是第二个层面的困难，在这一点上国外类似美国在政府部门大数据资源和数据目录开放程度就远远好于我国。具体可以看下涂子沛的《大数据时代》这本书。
二是加快计算服务能力和应用能力建设。引进公共云服务龙头企业，提供高质量的基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）等公共云服务；引导财政资金支持的信息化项目优先部署在统一的云计算基础设施，促进政务信息系统和信息资源的共享；面向贵州省建设电子政务、智能交通、智能物流、企业管理、智慧城市等方面的需求，发展服务功能强、商业模式新、带动效果大的行业云平台；面向企业研发、产品设计、生产控制、经营管理等方面需求，提供专业化的工业云计算服务；加快研发云计算平台资源管理软件、云安全防护产品、云模式应用软件，发展面向重点行业领域的云计算系统解决方案。
解读：计算服务和应用能力建设
对于这部分内容基本可以看到是常规的云计算平台和智慧城市方面的建设内容。政府很多时候规划往往就是没有了解一件事情的本质而一味的追求大而全的理想化建设模式。从最早的各地圈地大搞特搞云计算中心和产业基地；到智慧城市概念炒作起来的时候又把云计算，SOA，大数据，物联网等所有内容全部涵盖在智慧城市规划里面。而到了大数据时代，我们看到的规划效果又是所有内容似乎都恨不得全部纳入到大数据产业规划里面，搞理想化的大而全建设，结果平台项目建设过程中就夭折点，这个是每个政府部门做大数据规划前必须要考虑的问题，即必须清楚大数据本质是什么？希望通过大数据平台建设来解决什么业务问题，这个都没有想清楚不适宜开始大数据产业规划和建设。
那么是不是大数据平台和云平台完全没有关系？那也不是绝对。对于两者的关系在这里用最通俗的方式来进行下说明和对应。首先大数据本身需要存储，大数据在处理和聚合到数据资源平台过程中需要进行计算，那么就需要资源来提供计算和存储能力，而且这个能力可以d性扩展，这块能力的提供即是云计算平台IaaS层完成的内容。其次大数据在处理过程中涉及到数据集成，数据采集和聚合，数据并行处理，数据流处理，数据分析，数据服务能力共享和开放，这些能力已经是在资源层上层的能力，即平台层能力，而这些平台层能力都可以纳入到广义的云计算PaaS平台层。
三是加快大数据分析能力和利用能力建设。加强大数据分析关键算法和共性基础技术研发，开发专业化的数据处理分析工具，形成大数据基础技术与产品资源池；发挥大企业平台引领作用和专业大数据服务企业创新优势，加快市场化的大数据应用，发展第三方大数据服务，提供特色化的数据服务；支持数据开放、共享和应用服务，探索商业模式创新，推进大数据的公共应用；选择重点行业领域，开展基于云计算的大数据示范应用，推动专业化的大数据挖掘、分析、应用和服务发展，提高大数据行业应用能力。
解读：数据分析和利用能力建设
再次强调大数据核心是实现了业务价值和公共服务能力提升，如果我们建设的大数据平台和数据资源中心虽然实现了数据的聚合和数据模型的标准化，但是这些海量数据如果不能进行很好的挖掘和相关性分析，如果不能将数据本身的价值和能力通过服务化方式开放出来，那么整个大数据平台将没有任何价值。
贵州大数据产业战略里面谈到的将数据开放和共享出去，发展第三方大数据服务，推荐大数据公共应用并探索新的商业模式是相关关键的点。这仍然是商业模式和业务问题，而非技术问题，经过处理和分析的数据只有能够被使用，能够用于决策，能够为大众提供更加高效的公共数据服务才是最大的价值。
根据大数据本身的海量，异构，实时等特点，可以看到要针对海量异构数据进行数据挖掘和分析，同时有必须满足大数据分析的实时或准实时性要求还是相当有难度的。这一方面涉及到CEP，流处理，MPP，并行计算等各种技术的使用；一方面涉及到数据相关性分析模型的建立，两者缺一不可。
大数据平台建设本身又有两种模式，一种是先构建数据存储平台，再构建处理平台，最后再构建数据分析和挖掘平台；一种是根据业务目标来分析是否涉及到大数据应用场景，根据应用场景来分析究竟涉及到哪些相互关联数据，然后进行数据建模，再来考虑如何高效可扩展的对这些数据进行存储，处理和分析。对于政府部门的大数据我们更加建议第二种方式，即不要一开始就追求大而全，而是有针对性的各个击破，快速的体现出大数据平台应有的商业价值。

---