大数据技术在电子政务领域的应用

大数据技术在电子政务领域的应用
随着科学技术在社会各领域的不断渗透, 为人们的生活带来了巨大改变, 其中, 以大数据技术为代表的现代电子信息技术的广泛使用, 将人们带入了“大数据时代”。本文以大数据技术在电子政务领域的应用为研究内容, 在分析大数据技术特征的基础上, 这一技术在电子政务领域的实际应用加以介绍, 从而使人们更加深入的了解大数据技术。
近年来, 我国在计算机网络技术研究领域取得了显著成绩, 大数据技术、云计算技术、物联网技术等在社会各领域得到了较为广泛的应用。在此过程中, 为提高政府部门办事效率, 以大数据技术为核心的电子政务系统应运而生, 并且, 融入了大数据技术的电子政务系统在数据的获取、处理、分析等方面的效率显著提高, 为政府相关工作的高效开展奠定了基础。
1、大数据技术的特征概述
相比较传统数据处理技术来说, 大数据技术的主要特征包括以下四个方面:
(1) 大数据技术涉及到的数据量极为庞大, 在计算机网络快速发展的今天, 网络上的数字信息呈现出几何指数增长的趋势, 经过一定时期的积累, 这一数据量将达到惊人的数量, 为此, 只有大数据技术才能够对此类规模的数据进行有效的处理。
(2) 大数据技术所涉及数据类型众多, 除常见的文本、声音、图像、音频等数据外, 还包括一些特殊的文件形式, 并且, 不同类型的文件形式其作用自然也就存在着明显的差异。
(3) 大数据技术有着较快的数据处理数度, 凭借分布式计算机技术的使用, 能够在最短的时间内完成一定规模数据的处理任务, 并且, 最终得到的结果是有效的。
(4) 大数据技术所处理的数据虽然数据密度较低, 但是, 当密度较低的数据被收拢在一起后, 通过科学的数据处理分析方法, 从零星的数据中寻找有用的信息, 并对该信息的价值进行深入挖掘。
2 、大数据技术的关键
所谓大数据, 是指在短时间通过网络嗅探的方式, 快速搜集各种类型的网络数据, 并在相关数据中获取有价值的信息。大数据技术的实现需要通过大规模并行处理数据库技术、数据挖掘技术、分布式数据库技术、云计算基础构架平台等技术, 为更好的研究大数据技术, 应对其关键技术进行深入分析。
21 大规模并行处理数据库技术
为保证大数据技术中庞大数据的存储与处理, 则需要利用大规模并行处理数据库技术对相关数据进行集群管理。这一技术能够以最快的速度对数据处理命令进行相应, 并具有较低的延迟读写速度, 并且, 在云计算平台的配合下, 大规模并行处理数据库的成本也相对较低, 在正常工作过程中, 能够实现多个副本故障检测与转移机制, 在长时间工作的状态下, 出现故障的几率较低。
22 分布式数据库技术
所谓分布式数据库技术, 则区别于云存储数据库的形式, 他是利用互联网的空间特性, 将物理空间相对独立的存储单元进行连接, 通过一定的算法进行逻辑上的统一, 形成具有超大规模的数据库, 并具有较高的数据处理能力和数据存储能力。
从信息安全的角度分析, 这种分布式的数据库技术能够实现对数据资源的有效保护, 即便出现大规模的计算机病毒事件, 基于分布式数据的存储优势, 相关病毒对部分计算机的影响, 并不能对全部计算机中的数据造成毁灭性的破坏。
23 分布式存储技术
在大数据技术的实际应用中, 为满足用户一定规模数据存储的需求, 则充分利用了分布式存储技术所具有的纵向、横向扩展的优势, 将数据进行分割后存储与多台服务器、存储设备上, 从而有效降低了单一存储器的数据存储压力, 并且, 这种分布式存储技术, 还实现了系统可用性、可靠性的提高, 以及保证数据存取的高速进行。
24 云计算技术
对于大数据技术来说, 为了实现对一定规模数据的收集、分析和处理的能力, 则充分利用了云计算技术所搭建的平台, 从而为大数据技术的应用奠定了坚实的硬件基础。基于传统存储技术在速度、空间上的有限性, 无法为大数据技术提供足够的支持, 云计算技术则将传统计算机的存储、运算功能转移至云端, 以一种更加高效的方式, 为大数据技术在众多领域的拓展提供可靠的技术平台。
3、大数据技术在电子政务领域的应用
基于大数据技术的诸多优势, 在电子商务领域, 大数据技术主要用于网站数据进行分析, 社会诚信系统的构建, 信息共享平台与电子政务系统等。
31 大数据技术支持下的政府网站大数据分析
为准确掌握网站的浏览情况, 大多数网站都会对用户的日常浏览情况进行数据分析, 相关分析要素包括用户访问的路径、不同网页的停留时间、浏览网页的具体时间等, 通过对以上要素的研究, 能够对用户需求、习惯进行准确分析, 并能够对后期网站缺陷的具体调整提供指导性意见。
以某政府网站为例, 由于网页设计不合理, 以至于在用户打开某一页面时, 长期处于等待状态, 如此一来, 用户对这一网页的实际浏览次数将为0。针对这一情况, 网站管理人员通过对某一周期内的网站浏览情况进行分析, 由于一定周期内浏览网站用户的数量较大, 且相关要素成倍增加, 所以, 在处理以上信息的过程中就用到了大数据技术。对于网页访问次数出入较大的数据, 则需要进行深入分析, 在排除网页的可链接性之后, 检查网页内的相关信息, 却保网页内信息的可靠、安全。
通过用户浏览网站后留下的大量信息, 网站一方可以将用户信息存入数据库中, 并利用大数据技术对相关信息进行分类, 以实现网站信息向用户的精准推送。并且, 经过大数据处理后的数据信息, 逐渐成为政府行政决策的重要依据, 并能够在一定程度上保证行政决策的有效性和科学性。
32 大数据技术支持下的信用平台建设
为更好的掌握居民信用信息, 建立以个人为单位的信用数据库, 则需要以大数据技术为依托, 收集相关部门所掌握的居民信用资料, 并通过大数据技术进行对比、整合, 进而得出准确的个人信用情况。例如, 在购房贷款过程中, 商业银行往往需要用户提供《个人征信档案》, 在《个人征信档案》中, 不仅包括用户的基本身份信息, 还包括用户在所有金融机构办理的各种xyk情况, 以及是否存在不良信用记录等, 这些信息的存在, 就意味着政府机构与金融机构之间实现了以大数据技术为核心的信息共享, 通过对比用户身份信息, 将属于同一用户的信用信息进行整合, 并重新存储与数据库之中。
政府行为的信用平台建设, 旨在掌握用户的个人诚信资料, 并为基于个人行为的政府服务工作提供数据支撑, 打击社会范围内长期存在的老赖等现象。大数据技术支持下的信用平台建设, 能够实现社会范围内道德诚信体系的不断加强, 促进社会道德水平的提升。
33 大数据交换共享平台与电子政务
随着政府部门事务性工作的不断增加, 仅依靠人工对相关数据进行收集、分类、整合、处理等工作不仅效率低, 速度慢, 且容易出现人为性差错, 数据结果的人为性因素较大。在此情况下, 依托大数据技术在多元数据收集、处理方面的优势, 以及计算机网络技术下的信息共享平台建设, 能够帮助政府通过网络获取社会各领域的相关数据, 并对数据资源进行有效整合, 形成庞大的数据库资源。
然而, 对于数据库来说, 只有得到利用才能体现其价值, 在情况下, 政府部门就充分利用了大数据交换共享平台的优势, 建立以政府事物为中心的社会基础数据库, 为政府相关工作的开展提供横向、纵向信息的全方位共享。在区域间政府工作交流方面, 大数据共享交换平台能够突破传统政务工作的空间限制, 进而促进跨地区政府部门信息资源整合与交流下的业务开展。
为更好的发挥电子政务的优势, 在大数据交换共享平台的建设方面, 需要对这一平台的信息资源目录体系进行完善, 制定政府间统一的大数据交换共享平台使用标准, 规范政府在使用大数据交换共享平台的各种行为, 以实现对数据资源的合理、高效利用。所以, 大数据交换共享平台的使用, 不仅便于政府工作的开展, 也促进了社会管理工作有条不紊的展开, 社会环境的稳定得以实现。
34 电子政务决策系统中的大数据技术
在实际使用过程中, 大数据技术并不仅仅是简单的对多元数据的收集、整合、分析、处理, 对于大数据技术的使用方来说, 庞大的数据价值还在于能够辅助政府决策。
利用计算机软件技术, 通过对庞大数据中有关数据的筛选、分析, 经过计算机软件的处理之后, 能够得到更加准确的计算结果, 政府部门依据这一结果, 就可以完成一系列的政府决策, 从而实现了政府办事效率的快速提高。
例如, 在市政建设方面, 对于城市内部交通拥堵问题, 可以借助交通系统长期提供的大数据信息, 了解城市内交通拥堵的主要路段、时间, 以及在庞大数据信息的支持下, 通过建模的方式, 采取多种治堵方式, 并利用大数据技术对每一种方式的实际效果进行综合评估, 最终选择效果最好的治堵方式。
对于政府决策的客观性、准确性等, 使用大数据技术辅助决策有着极大的优势, 但是, 基于大数据技术缺乏人类情感因素的介入, 以至于相关决策并不能够完全突出“以人为本”的政府工作理念, 所以, 政府部门应慎重对待大数据技术下的电子政务决策, 根据相关内容的实际情况, 做出最佳的决策选择。
4、大数据技术在电子政务中应用的不足之处分析
通过对地方政府电子政务系统的实际使用情况调查研究后发现, 即便在我国电子信息技术得到快速发展的情况下, 大多数地区政府在电子政务系统建设方面依然存在不足, 即便是已经施行电子政务管理的地区, 政府部门对于大数据技术的实际应用却有着较为明显的不足, 以至于大数据技术的优势无法得到有效发挥。
41“数据孤岛”现象的存在
大数据技术的核心在于对数据信息的共享, 然而, 有地方政府对大数据技术的认识不足, 以至于在数据共享方面存在政策性的理解偏差, 使得以政府为核心的相关数据无法被其它行业所利用, 大数据技术的优势也就失去。例如, A省与B省协商开通省际公交专线, 然而, 为了更好的安排公交车的运行时间表, 则需要A、B两省之间的人员往来数据进行分析, 并能够预估公交线路的实际载客风险, 从而适当的调整公交车的运营次数和时间, 但是, 在实际 *** 作过程中, A、B两省间的客流数据无法实现共享, 以至于在公交车的实际安排下依然无法解决道路拥堵的实际问题。
地方政府所体现出来的在大数据技术应用方面的这一问题, 是传统政务管理工作中各自为政思想的延续, 一旦数据无法实现共享, 也就造成了所谓的“数据孤岛。大数据共享的问题在于两个方面, 首先, 政府部门之间有着严格的管理秩序, 优势存在上下级关系的政府部门, 下级向上级申请差异数据库中的内容, 多无法得到上机政府部门的许可, 以至于大数据技术在电子政务领域的使用存在着明显的“数据孤岛”现象。
导致“数据孤岛”现象的原因还包括大数据技术的本身, 由于我国大数据技术的应用并未得到普及, 在电子政务领域也只是部分地区完成了大数据技术的初步使用。数据作为政府管理的稀缺资源, 以及从保密的角度分析, 相关数据并不能进行过度披露, 否则, 将造成社会性的事件。所以, 这也就不难解释除政府部门间数据信息的相对独立以外, 广大市民同样无法通过大数据技术支持下的电子政务平台获得真实的数据信息。在这一“数据孤岛”现象的影响下, 地方电子政务平台的实际效果也就有着明显的降低。
42 电子政务领域常见的数据资源“过剩”与“闲置”问题
单从地区政府发展的角度来看, 地区政府在大数据技术方面投入的多少, 能够直接反映出该地区经济发展的实际情况, 两者之间存在着显著的正相关关系。然而, 当地区政府在大数据技术方面的投入与实际数据需求偏低时, 也就出现了所谓的数据资源“过剩”的问题。不仅如此, 在大数据技术投入不足的情况下, 政府部门无法对社会中存在的大量数据加以利用时, 也就形成了另一种形式的数据资源“闲置”。
(1) 以南京地区为例, 作为我国南方较为重要的经济主体, 南京市政府在大数据技术与电子政务方面投入了大量人力、物力和财力, 经过近几年的发展, 已经形成了较为完备的电子政务平台, 在实际使用中也到了广大市民的欢迎。然而, 相对于南京的区域地位来说, 受上海的影响, 作为上海市的经济辐射范围, 南京市的发展受到了一定的影响, 经济中心明显向上海地区便宜, 为此, 基于大数据技术的电子政务平台所整合的数据, 也就无法在更大的空间中发挥其作用, 这就是数据资源“过剩”。
(2) 在我国西北、西南部分地区, 由于经济发展较为落后, 以至于在全国范围内进行大数据技术支持下的电子政务系统建设过程中, 无法进行大范围的电子政务系统建设。以贵州省为例, 大数据技术下电子政务系统依然停留在商业层面的应用, 对于其它领域的电子政务系统建设并未涉及, 因此造成了贵州省内相关数据信息无法全面获取, 这也就是资源“闲置”的直接表现。
5、关于大数据技术在电子政务领域应用的建议
针对当前大数据技术发展的实际情况, 以及电子政务作为信息化时代下政府事务性工作改革的重要内容, 有着较为积极的意义。因此, 为推动大数据技术在电子政务领域的中的应用, 则需要做到以下三个方面。
(1) 地方政府应结合大数据技术与电子政务的结合, 推动地区大数据技术产业的发展, 通过各种优惠政策, 吸引高新技术企业入驻, 建立以大数据技术为核心的产业发展模式, 从而带动地区经济发展。
(2) 提高政府方面对大数据技术的认识, 在社会发展过程中, 大数据技术的优势越发明显, 尤其是在传统事务性工作的处理方面, 借助专业的数据分析软件, 能够完成从数据的收集、整理、分类, 直至得出数据分析结果, 实现了政府办事效率的显著提高。如此一来, 大数据技术的优势得以体现, 政府方面对于大数据的认识进一步提高, 进而促进了大数据技术在电子政务领域的普及。
(3) 加快大数据技术相关硬件、软件的研发。目前, 大数据技术涉及到的硬件、软件成本较高, 导致了部分经济欠发达地区无法实现大数据技术支持下的电子政务系统的全面推广。以大数据技术使用较为广泛的数据中心机房来说, 由于要使用到高速计算机和服务器到等昂贵的信息设备, 对于缺乏条件的地方政府来说, 可以利用云计算技术, 通过网络服务器的模式, 解决这一问题。
总的来说, 大数据技术在电子政务领域的应用实现了我国政务处理的信息化改革, 对于我国现代化社会管理制度体系的建立打下了坚实的基础。并且, 通过大数据思维在政务领域的渗透, 有助于大数据技术的应用效率提高。
6、总结
尽管, 我国电子政务系统的建设时间并不长, 相关领域依然有待完善。随着大数据技术在电子政务领域的不断渗透, 基于多元数据收集、整合、分类、处理的大数据信息交换共享平台建设, 为政府各项事务的有效开展奠定了坚实的基础。然而, 由于技术与认识上的不足, 电子政务系统中的大数据技术应用仍然集中于纵向政务业务领域, 这并不符合当前社会发展的趋势。因此, 为推广以大数据技术的应用个, 则需要加快大数据技术支持下的电子政务系统的设计, 推动电子政务系统中大数据技术的应用, 打造“数字化政府”。

使用 Hadoop、HPCC、Storm、Apache Drill、RapidMiner、RapidMiner、 Pentaho BI 等大数据技术、工具。使用分类、聚类、关联规则、预测等数据挖掘方法。
举个大数据可以带来的商业价值的例子吧：商业淘宝上面用户浏览信息的重要性，刚开始淘宝的分析人员相对用户在淘宝浏览信息进行分析，但是这个数据不够，可能有的人只在京东上进行消费或者只在实体店购买东西，这时候就需要各大超市、网上商城的浏览消费信息，对某个用户或者潜在用户的消费习性、购买习惯、位置信息等进行研究，从而退出各类商业模式。著名的啤酒尿布故事不就是这样诞生的吗？各类电信公司业务宣传活动也会基于用户习惯进行产生新的模式，这些最开始都是没有，这些创新无不是以数据分析为基础的。

关系型数据库简介关系型数据库以行和列的形式存储数据，以便于用户理解。这一系列的行和列被称为表，一组表组成了数据库。用户用查询(Query)来检索数据库中的数据。一个Query是一个用于指定数据库中行和列的SELECT语句。关系型数据库通常包含下列组件：客户端应用程序(Client)数据库服务器(Server)数据库(Database)StructuredQueryLanguage(SQL)Client端和Server端的桥梁，Client用SQL来象Server端发送请求，Server返回Client端要求的结果。现在流行的大型关系型数据库有IBMDB2、IBMUDB、Oracle、SQLServer、SyBase、Informix等。关系型数据库并不是唯一的高级数据库模型，也完全不是性能最优的模型，但是关系型数据库确实是现今使用最广泛、最容易理解和使用的数据库模型。大多数的企业级系统数据库都采用关系型数据库，关系型数据库的概念是掌握数据库开发的基础，所以本节的问题也成为NET面试中频繁出现的问题之一。所涉及的知识点关系型数据库的概念关系型数据库的优点分析问题关系型数据库的概念所谓关系型数据库，是指采用了关系模型来组织数据的数据库。关系模型是在1970年由IBM的研究员EFCodd博士首先提出，在之后的几十年中，关系模型的概念得到了充分的发展并逐渐成为数据库架构的主流模型。简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。下面列出了关系模型中的常用概念。关系：可以理解为一张二维表，每个关系都具有一个关系名，就是通常说的表名。元组：可以理解为二维表中的一行，在数据库中经常被称为记录。属性：可以理解为二维表中的一列，在数据库中经常被称为字段。域：属性的取值范围，也就是数据库中某一列的取值限制。关键字：一组可以唯一标识元组的属性。数据库中常称为主键，由一个或多个列组成。关系模式：指对关系的描述，其格式为：关系名（属性1，属性2，…，属性N）。在数据库中通常称为表结构。关系型数据库的优点关系型数据库相比其他模型的数据库而言，有着以下优点：容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解。使用方便：通用的SQL语言使得 *** 作关系型数据库非常方便，程序员甚至于数据管理员可以方便地在逻辑层面 *** 作数据库，而完全不必理解其底层实现。易于维护：丰富的完整性（实体完整性、参照完整性和用户定义的完整性）大大降低了数据冗余和数据不一致的概率。近几年来，非关系型数据库在理论上得到了飞快的发展，例如：网状模型、对象模型、半结构化模型等。网状模型拥有性能较高的优点，通常应用在对性能要求较高的系统中；对象模型符合面向对象应用程序的思想，可以完美地和程序衔接，而不需要另外的中间转换组件，例如现在很多的O\RMapping组件；半结构化模型随着XML的发展而得到发展，现在已经有了很多半结构化的数据库模型。但是，凭借其理论的成熟、使用的便捷以及现有应用的广泛，关系型数据库仍然是系统应用中的主流方案。

目前常用的大数据解决方案包括以下几类

一、Hadoop。Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

二、HPCC。HPCC，HighPerformanceComputingand(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及网络连接能力。

三、Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来

四、ApacheDrill。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在AndroidMarket上的应用程序数据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

---