大数据处理的基本流程

大数据处理的基本流程分三步，如下：

1数据抽取与集成

由于大数据处理的数据来源类型丰富，利用多个数据库来接收来自客户端的数据， 包括企业内部数据库、互联网数据和物联网数据，所以需要从数据中提取关系和实体， 经过关联和聚合等 *** 作，按照统一定义的格式对数据进行存储。 用户可以通过上述数据库来进行简单的查询和处理。

在大数据的采集过程中，并发数高是其主要的特点和挑战，因为成千上万的用户可能同时来进行访问和 *** 作，比如火车票售票网站和新浪微博，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑，如何在这些数据库之间进行负载均衡和分片更是需要深入思考和设计的问题。

2数据分析

待获取数据后，用户可以根据自己的需求对这些数据进行分析处理，如数据挖掘、机器学习、数据统计等。统计与挖掘主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，

以满足大多数常见的分析需求。分析涉及的数据量大是统计与分析这部分的主要特点和挑战，统计与分析对系统资源会有极大的占用。数据挖掘一般没有预先设定好的主题，主要是对现有数据进行各种算法的计算，从而起到预测的效果，然后实现高级别数据分析的需求。挖掘大数据价值的关键是数据分析环节。

3数据解释

数据处理的结果是大数据处理流程中用户最关心的问题，正确的数据处理结果需要通过合适的展示方式被终端用户正确理解。数据解释的主要技术是可视化和人机交互。

随着计算机技术、信息技术、网络技术的迅速发展(主要是云计算和现代网络技术的发展)，世界各地、各行业、各单位每天都产生包括数字、文字、视频、音频等在内的海量信息，这些海量信息统称为大数据。在大数据的海洋中，利用“沙里淘金”的技术把有用数据提炼分拣出来，是大数据应用的重要内容之一。大数据应用技术大致可分为以下步骤:数据库的搜集和挖掘，数据质量的甄别和校正，信息的处理(数学模型的建立和校正)，大数据的分析与成果的形成。自2013年大数据概念兴起至今，运用物联网端设施对数据库的搜集技术已经成熟，并且大数据是最先在气象中使用的，通过大型计算机的运算以及过去60年的气象数据，建立识别天气的模型，然后将这些模型与当前的气候条件进行比较，再运用预测性分析进行天气预报。

在万物互联的时代，气象大数据在大规模的收集与应用，气象数据是最用以与平衡领域产生交集和应用的大数据，例如旅游、农业、大健康等等。

以气象大数据和农业的应用为例，气象物联网大数据在农业领域的应用推动农业向“精准”和“智慧”方向发展。

1农场气象实时监测，极端气象及时预报

实时监测空气温湿度、光照、降雨量、风速、风向、大气压力、气体浓度等数据，并通过设定相关报警阈值，实现即时报警，精准控制种植环境指标。

根据卫星数据，系统可预报未来72小时气象，24小时极端天气、降水概率、大风等异常气象预警，提醒用户及时做好防灾防险准备。

2土壤墒情精准监测，异常情况快速预警

实时监测土壤水张力、土壤温湿度、水位、溶氧量、pH值等。

通过设定报警阈值，当土壤数据异常时，如湿度过高，系统自动发出预警消息提醒工作人员。

3远程掌握田间虫情，无公害诱捕杀虫

系统可实现害虫类别自动分类及计数，并自动进行无公害诱捕杀虫，减少农药的使用

通过高清摄像机采集虫情图像，可远程查看田间虫情，并制定防治措施。

4作物长势监测，突发情况可自动转向紧急录像

高清摄像头可720度旋转、拉近、拉远，查看园区实时生产情况；

发生预警时，摄像头可自动转向到预警点紧急录像，不放过任何异常；

可对视频进行截图，无需另外安装相机进行拍摄。