全球历年gnp数据2001-2005

告诉你几个权威的经济资料库自己去查吧,这叫授人以鱼不若授人以渔以后你再用到时就不必悬赏问了

1、国际货币基金组织（IMF）的经济统计数据库与相关报告

国际货币基金组织（ >

（1广州海洋地质调查局 广州 510760；2国土资源部海底矿产资源重点实验室 广州 510760）

第一作者简介：万晓明（1984—），男，助理工程师，主要从事储层地震反演研究工作，Email:daozhong09@163com。

摘要 随着油气等资源勘探开发技术的不断发展，出现了诸多地球物理、地质等专业性软件。这些软件一般都具有很强的专业性、针对性，且各具特色。为了更高效、快捷地解决油气、水合物等矿产资源勘探项目中的难点，充分利用这些先进的技术手段是非常必要的。因此，不少科研院所引进了相应的地质、地球物理等专业软件系统。本文主要研究、探讨了多套常用主流的地球物理软件系统在油气、水合物勘探中的联合应用问题，并得出了相应的技术流程。

关键词 地球物理 资源勘探 软件系统 联合应用

1 地球物理软件特点

随着油田勘探技术的不断进步和勘探目标的日益深化，地质目标从寻找大构造发展到寻找微幅度构造和非常规的的隐蔽油气藏［1］。这增大了油藏的不确定性，降低了勘探成功率。石油工业是一个高风险、高投入、高技术含量的产业［2］。提高油藏的预测准确性，扩大可采储量，是降低油气勘探、开采成本的重要有效途径［3］。而油藏及其储量准确的预测高度依赖于高新技术的应用。地球物理等专业软件系统是石油勘探开发技术的载体和具体体现，它起到了核心作用［2］。因此，随着整个石油行业的发展和需求，石油勘探技术和相应的专业软件系统也取得了巨大的发展。

世界石油勘探已由20世纪70年代的规模取胜，80年代的成本取胜，发展到现在的技术取胜［3］。近年来，国内外石油勘探开发软件系统不断更新，其类型繁多，规模各不相同［2］。归纳起来，众多软件系统都具有以下特点：

11 先进性

先进性主要表现在以下方面：①基于先进的信息技术基础和应用环境，如支持先进的网络、高配置、高性能计算和可视化环境；②支持网络分布式计算和并行计算环境（例如Jason地震反演软件系统）；③采用高性能三维可视化或虚拟现实技术，实现交互、灵活、高效、沉浸式数据浏览、质量控制、交互分析、交互建模等功能。采用先进的软件技术，如面向对象技术、并行计算技术、软件架构技术、组件技术、Web技术等。支持和提供先进的应用功能和性能，支撑石油物探中地震采集设计、数据处理、分析解释、油藏描述等各种应用功能的集成［2］。④在功能实现方面采用先进的、优化的算法，并运用多种学科的前沿技术及理论。

12 一体化

“一体化”即“集成化”。该特点主要是针对主流大型的地球物理软件系统，其具体体现在数据管理一体化和功能模块集成化两个方面。一般在大型软件平台中都采用统一的数据管理系统，如Landmark软件系统中的Oricle数据库，该数据库统一管理了井坐标、分层、曲线、井斜轨迹等一切井数据。而其功能模块则分门别类、成树形结构的集成在系统平台中。

13 更新快

在油气勘探不断深入的过程中，会出现一系列问题，也会取得新的技术和成果。为了更快捷有效地解决这些问题，利用新的技术理论，地球物理软件系统也在不断革新技术，优化自身的功能。同时，根据用户的反馈意见，来优化、完善软件的 *** 作。因此，众多软件系统不断地推出升级版本，部分软件公司甚至每年都会推出最新技术的软件产品。

14 技术特色

在国内软件市场，大型进口软件占主导地位。国外大型专业技术服务公司都有支持自己核心业务的商品化大型应用软件系统，其特点是：系统庞大，专业功能模块齐全。同时，发展核心技术和特色技术，解决特殊需求，提高核心竞争力。除此，国内外还有很多小规模的软件公司从事地球物理软件的开发，其特点是：软件系统相对较小，主要解决油气勘探中的某一类问题，含专业特色技术，且技术特色明显［2］。

15 智能化

智能化是现代信息技术应用的又一个特征。各种软计算技术广泛应用于专业技术应用和信息管理、决策支持中，如人工智能、专家系统、人工神经网络等技术，广泛应用于数据处理分析和决策支持中。在软件理论基础和内部算法方面，石油物探应用软件广泛应用了模式识别、人工神经网络、模拟退火、地质统计、支持向量机等软计算技术，大大增强了数据处理和分析解释、设计和决策过程的智能化［2］。在软件 *** 作方面，石油物探软件系统也在不断地简化流程，或是将 *** 作流程直接嵌入到系统界面上，用户可以按照系统提示进行 *** 作使用。同时，还减少了数据处理、运算以及分析过程中的参数设置，将非敏感、非关键参数进行删除或并置。

2 软件系统介绍

21 Geoframe地震解释系统

该软件系统为集综合数据管理、测井资料处理解释、地震资料综合解释、地质综合研究以及工业图件编制等功能为一体的系统平台。GeoFrame平台整合了目前国际石油勘探开发领域的先进技术，包括综合数据库管理、成像测井处理解释、三维可视化技术、储层横向预测技术等，基于这个平台，地学研究人员一方面可以对勘探开发生产过程中的各类综合数据进行管理，另一方面可以针对地质目标开展精细测井评价、地质研究、构造描述、储层预测以及油气藏综合评价等工作［4］。

作为综合性的地学平台，GeoFrame软件系统功能强大，大量的油气勘探工作都可以通过它来完成。但是，每种软件系统都具有其独特的核心技术和特色技术。GeoFrame软件系统最为人熟知、应用最为广泛的是其构造解释功能，这也是其核心技术之一。

22 Jason地震反演系统

Jason软件一直是基于地震反演理论来进行精细油藏描述的行业创始人和领先者，保持在行业内绝对的技术领先优势，并通过多项高端专利技术的运用引领着行业发展方向。Jason地学工作平台软件能够在油气勘探不同阶段、储量评估和资源评价方面，充分发挥地震资料的空间可预测能力。从而为岩性油藏精细描述、有利储层空间分布特征、流体接触关系评判，提供客观的评价结果［5］。

Jason推出的功能模块繁多，其核心模块有：InverTraceplus（约束稀疏脉冲反演）、RockTrace（叠前AVO/AVA同时反演）、StatMod MC（叠后地质统计学反演）、RockTrace PS（叠前PP+PS联合同时反演）、RockMod（叠前地质统计学反演）、Largo（岩石物理建模）、FFP（Facies ＆ Fluids Probabilities岩相流体概率解释分析）。

约束稀疏脉冲反演、叠前AVO/AVA同时反演技术应用比较广泛，不少类似的反演软件中都涵盖了这些功能。叠前PP+PS联合同时反演以及FFP岩相流体概率解释分析技术应用相对较少。其主要原因是目前横波资料相对较少，而FFP技术相对较新，这两点极大影响了以上技术的应用与推广。

StatMod MC叠后地质统计学反演与RockMod叠前地质统计学反演两大技术目前在Jason软件中得到了很好的体现。叠后地质统计学反演应用马尔科夫链-蒙特卡罗模拟算法，将地质统计学与地震反演技术结合起来，并综合运用多个数据源（地震、地质、测井）的信息，从而能够获得高分辨率的储层模型，并为不确定性分析和风险性评估提供依据，该技术在油田开发阶段已经得到了很好的应用，并取得了良好的效果。叠前地质统计学反演技术将分角度叠加的多数据体反演与地质统计学反演集成到同一反演引擎中，其构建的油藏地质模型无论在细节上还是在精度上均达到前所未有的高度，该项技术是Jason地学工作平台新增的特色模块［6］。

23 Petrel油藏建模系统

Petrel勘探开发一体化油藏综合描述软件。Petrel软件作为目前国际上流行的一种微机版三维建模软件，把地震解释、构造建模、岩相建模、油藏属性建模和油藏数值模拟于一体，为地质学家、地球物理学家，岩石物理学家，油藏工程人员提供一个共享的信息平台。Petrel的强大功能提高了对油藏内部细节的认识，能精确描述油藏属性的空间分布、计算其储量、比较各风险开发模型、设计井位和钻井轨迹、无缝集成油井生产数据和油藏数模结果、发现剩余油藏和隐蔽油藏，从而极大地降低开发成本。Petrel以更快、更精确、更为经济的技术手段满足了精细地质研究对软件的需求［7］。

Petrel软件系统所涵盖的主要功能模块有：3D visualization（三维可视化）、Well correlation（井相关小层对比）、Seismic volume rendering and extraction（地震数据叠后处理）、Structure Modeling（精细构造建模）、Facies Modeling（相建模）、Petrophysical modeling（油藏属性建模）、Data analysis（数据分析）、Volume calculation（体积计算）等等。其中Petrel软件的核心功能是深度域测井尺度上的建模技术。通过构造、沉积相、岩相以及各种属性（如：孔渗、含油气性等）的精细建模，最终描述出油藏的空间分布及其储量。在辅助功能方面，Petrel软件也独具特色，如地震数据叠后处理中的蚂蚁追踪技术、属性提取技术。

24 其他软件系统：OpendTect、FracPM及TrapTesTer软件系统

除了大型地球物理软件系统以外，国内外还存在很多小规模的软件公司研发的小型软件系统。这类软件系统一般都具有很强的针对性，主要是解决油气勘探中的某一种类型的问题，软件中所具有的功能模块相对较少，但其极具专业特色。所以，在油气勘探中它们也发挥着举足轻重的作用。

文中主要介绍以下三种特色软件：OpendTect、FracPM及TrapTesTer软件。

（1）Opendtect软件：该系统是三维可视化的地震属性分析及层序地层学解释系统。它也是在一个开放源环境下的地震解释软件系统。利用地震属性及先进的可视化技术，如多卷数据的立体显示和透视图显示等对地震数据进行处理和解释。除此，还可以运用第三方免费插件［8］。

目前该软件主要技术有：Dip-steering（倾角控制）、Seismic Spectral Blueing（地震频蓝化）、NN+Attribute Set（目标体识别及成像处理技术）、SSIS（层序地层学解释系统）以及CCB（油-气-水界面检测技术）等。在这些技术当中，经常应用的是倾角控制、气烟囱等目标识别成像以及最具特色的层序地层学解释系统。

（2）FracPM软件：它是断裂储层预测、成像系统软件。该软件通过地震张量场、地震几何属性等地震属性，结合图像处理技术进行断裂成像。它具有先进的用户界面、完善的数据库、强大的可视化等显示工具和完备的数据I/O接口，且采用了QT界面技术，是基于Windows的软件产品［9］。

FracPM软件包括6个模块，分别是：高级几何属性、地震滤波及边缘检测、裂缝分析、裂缝预测、地震可视化和基础模块。

（3）TrapTesTer软件：TrapTesTer软件是英国Badleys公司研制的断层定量封堵分析软件系统，它可为地质学家提供了一个从地震解释、地质建模到圈闭评价的软件平台。利用它可以研究断层的侧向封堵性、预测断块圈闭的可能烃柱高度和进行圈闭完整性评价。还可以研究过断层的流体流动特性，合理地划分开发单元和模拟油藏性质，研究断层重新活动的可能性，即断层的垂向封堵性及断层控制油气成藏的风险。该软件在国内外油气勘探开发过程得到了广泛应用并取得了良好的应用效果［10］。

该软件主要有以下几大功能：构造解释的质量控制、构造分析、断层封堵性分析、传导性成图、3D应力分析以及裂缝建模。其核心、特色性的技术是断层封堵性分析。

3 联合应用分析

31 联合应用的指导原则

（1）针对研究课题中的每一类问题选择适合的地球物理软件。不同的地球物理软件系统均有自身的适用条件、适用范围，同时也具有各自的优缺点以及技术特色。因此，在解决问题时，选择正确、适合的应用软件是准确、有效解决问题的必要条件之一。如，在Jason地震反演软件中，有多种反演方法可选，但不同的反演方法其适用条件均不相同。若误选了反演方法，其得出的结果固然是不可信的。

（2）选择应用更具技术特色的软件。在诸多情况下，相同的问题可能通过不同的软件系统解决，此时选择具有技术特色的软件能获得更好的解决效果。如果难以确定所选用的软件系统时，可以比较不同软件系统所解决问题的效果，择优应用。例如，大多数软件都具备地震属性提取功能，然而不同的软件提取属性的种类各不相同，同时针对同一属性不同软件采用的算法也有所差异。

（3）考虑地球物理软件相关技术模块应用的广泛性。某一软件技术若能被广泛采用，在某种程度上可以表明其技术具有一定的先进性或特色性，同时也可以说明该技术相对成熟。通过对比研究发现，Geoframe软件系统中使用率最高的是构造解释功能，Jason地震反演软件被人熟知的是多方法地震反演技术，Petrel建模平台软件的核心技术是多属性建模，但其辅助模块属性提取、蚂蚁体等技术也是油气勘探中常用的技术手段。另外，在功能相对单一的小型软件系统中Opendtect地震资料预处理、气烟囱识别、层序地层学研究技术、FracPM裂缝预测技术、TrapTesTer断层封堵性技术也是解决油气勘探相关问题不可或缺的技术手段。

32 联合应用技术流程

结合多软件联合应用的指导原则和各类软件的技术特色，在此对其详细的技术流程进行分析和探讨。

在常规的油气地球物理勘探中，构造精细解释、储层预测以及成藏综合研究是必不可少的。在油田开发期，油藏精细描述、剩余油预测也是其常规工作。根据以上研究任务，文中总结了一套研究思路（如图1）。

图1 常规研究流程

Fig1 Conventional research process

结合不同地球物理软件系统的技术特色、特点和上述研究思路中所涉及的研究工作，将各软件系统的技术进行搭接和匹配。首先，构造精细解释、储层反演预测、油藏精细建模三大研究任务常被采用的技术分别是Geoframe构造解释技术（或Landmark解释模块），Jason叠前、叠后地震反演技术，Petrel油藏建模技术。其次，基于各大项研究任务的基础性、辅助性工作同样需要选择合理的软件技术模块。

地震资料叠后常规处理是构造解释等重点研究工作的前期工作之一。地震资料叠后常规处理工作主要包括有：地震资料去噪、提频、重采样、道增益、相干体等。不少软件均可完成以上常规处理工作，但就处理效果和软件技术特色而言，OpendTect提出的倾角/方位角控制处理（Dip⁃Steering）技术更具优势。该技术是通过平滑的3D傅立叶变换技术扫描并计算地震所有采样点的三维空间倾角、方位角，获得带有倾角、方位角信息的数据体，配合使用OpendTect提供的特有的中值滤波（Median Filter）、相似性（Similarity）等叠后地震处理技术，对地震资料进行中值滤波和断层加强。由于使用了带有空间信息的Steering数据体，不存在滤波尾巴，大幅度减少随机扰动，改善同相轴的横向连续性，增强断面反射，从而达到提高地震信噪比、改善地震品质、清晰断层成像的目的（图2～5）［8］。

图2 原始地震剖面

Fig2 Original seismic profile

图3 中值滤波及断层加强处理后剖面

Fig3 Seismic profile after Median Filtering and Fault Strengthening

图4 原始地震沿层相干切片

Fig4 Original seismic coherency slice

图5 处理后地震沿层相干切片

Fig5 Seismic coherency slice after processing

岩石物理分析是储层地震反演工作的基础和依据。Jason地震反演软件中的Largo模块是业界唯一将测井数据分析和岩石物性建模结合在地震解释系统中的软件。Largo将油层物理、岩石物理和JGW地震反演联系在一起，并且能够进行质量控制［6］。

除此，还有许多补充性的配套研究工作。例如，属性提取、裂缝预测、层序地层学研究、断层封堵性研究，等等。属性分析可以与储层反演相互结合，为储层预测提供更有力的证据。Petrel软件的Volume Attribute模块提供的属性种类齐全，包括了能量、频率、极性、信号嘈杂程度等三十多种属性。

裂缝预测是在致密储层中寻找甜点的有效手段。Petrel软件的曲率属性以及蚂蚁体追踪技术可以预测地震尺度上的裂缝。针对小尺度裂缝，FracPM软件利用成像测井、岩心等数据分析裂缝的密度、走向等信息，获取井点裂缝密度曲线，在此基础上构建裂缝信息与地震属性之间的关系，从而实现裂缝的定量预测［9］。

层序地层学研究目前能借助的地球物理软件只有OpendTect。该软件的层序地层解释系统（Sequence Stratigraphic Interpretation System）是OpendTect 中最具特色的功能模块，也是目前国内外商业软件中唯一通过地震资料开展层序地层学研究的地震解释系统。该系统以地震数据驱动的方式通过对沉积旋回韵律体的全三维自动追踪、Wheeler域自动转换实现层序地层学研究［8］。

断层封堵性是预测断块圈闭的可能烃柱高度和进行圈闭完整性评价的重要因素。相对其他软件而言，TrapTesTer软件在断层封堵性研究过程中所分析数据较多，考虑到的参数也不少，所得的分析结果相对更为可信。

结合上述分析给出与研究思路相对应的多软件联合应用技术流程图（图6）。

图6 多软件系统联合应用技术流程图

Fig6 Technology flow chart of multi⁃software systems joint application

上述技术流程简单地体现了多软件的联合应用。例如，在Jason的反演成果基础上，利用Petrel进行三维地质建模，可以进一步融合录井、测井、地震、反演成果、属性预测成果等各种资料，为研究人员提供了一个便捷的综合分析平台，同时进一步精细预测了储层的空间展布特征，提高储层预测定量化的程度［11，12］。图7和图8是某研究区的应用效果，其结果表明在Jason反演成果的基础上进行建模，其预测精度有明显的提高。

图7 反演GR参数连井剖面

Fig7 Well⁃to well profile of GR parameter inversion

图8 三维GR模型连井剖面

Fig8 Well⁃to well profile of3D GR model

在实际研究过程，各种技术手段的应用是复杂多变的。不同的技术可能交叉应用，相同技术也可能并行对比使用。总之，地球物理软件技术的应用是应所研究的任务和问题而生，也是应它而变的。

4 认识与讨论

总结上述研究，得到以下几点认识：①地球物理软件系统升级迅速，及时掌握软件技术的更新动态，清楚其适用条件、适用范围的变化是准确选择合理的技术手段的必要条件之一。②多软件技术的联合应用是十分复杂的，各种研究技术手段可能会相互交叉或并行使用。那么，多软件联合应用的技术流程也是复杂多变的，同时也是需要在项目研究不断深入、软件技术不断运用的过程中逐渐完善的。③加强对主流软件、特色软件的了解，充分发挥软件资源的作用，加强多地球物理软件的联合应用，更有利于解决生产、研究中所遇到的问题和困难，提高解决问题的效率和效果。

参考文献

［1］杨平，刘云武，金成志2003岩性圈闭预测方法及应用［J］大庆石油地质与开发，22（3）：10-12

［2］赵改善2010地球物理软件技术发展趋势与战略研究勘探地球物理进展，33（2）：77-91

［3］杨红霞，赵改善200121世纪的地震数据处理系统石油物探，40（4）：126-139

［4］梁劲Jason反演软件论证报告内部资料

［5］斯伦贝谢公司GeoFrame软件介绍资料

［6］辉固公司Jason软件介绍资料

［7］斯伦贝谢公司Petrel软件介绍资料

［8］德康泰克科技（北京）有限公司OpendTect软件介绍资料

［9］北京博达瑞恒科技有限公司FracPM软件介绍资料

［10］吉泰伟业科技有限公司TrapTesTer软件介绍资料

［11］张春雷，熊琦华，张一伟2001随机模拟技术在油田勘探阶段油藏描述中的应用石油大学学报（自然科学版），25（1）：59-62

［12］段林娣2007高含泥薄层砂岩储层精细预测研究［D］北京：中国地质大学（北京）

Joint Application of Multi-software Systems in the Oil and Gas Exploration

Wan Xiaoming1，2，Zhang Kangshou1，2，Li Rui1，2，Jian Xiaoling1，2

（1Guangzhou Marine Geological Survey，Guangzhou，510760；2Key laboratory of Marine Mineral Reasources，MLR，Guangzhou，510760）

Abstract：With the continuous development of the technology of oil and gas exploration and exploitation，there has been a lot of geophysical，geological and other professional softwaresGenerally，the softwares are highly professional，targeted，and also distinctiveIn order to resolve the difficulties more conveniently and efficiently in the oil and gas，hydrates and other mineral resources exploration projects，it is necessary to take full advantage of these advanced techniquesSo，many research institutes introduce the corresponding geological，geophysical and other professional software systemsThis paper studied and discussed the joint application of several major and commonly used geophysical software systems in the oil and gas，hydrates exploration，and obtained the corresponding technical processes

Key word：Geophysics；Resource exploration；Software system；Joint application

大数据技术发展史：大数据的前世今生

今天我们常说的大数据技术，其实起源于Google在2004年前后发表的三篇论文，也就是我们经常听到的“三驾马车”，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。

你知道，搜索引擎主要就做两件事情，一个是网页抓取，一个是索引构建，而在这个过程中，有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的，你从介绍中也能看出来，一个文件系统、一个计算框架、一个数据库系统。

现在你听到分布式、大数据之类的词，肯定一点儿也不陌生。但你要知道，在2004年那会儿，整个互联网还处于懵懂时代，Google发布的论文实在是让业界为之一振，大家恍然大悟，原来还可以这么玩。

因为那个时间段，大多数公司的关注点其实还是聚焦在单机上，在思考如何提升单机的性能，寻找更贵更好的服务器。而Google的思路是部署一个大规模的服务器集群，通过分布式的方式将海量数据存储在这个集群上，然后利用集群上的所有机器进行数据计算。 这样，Google其实不需要买很多很贵的服务器，它只要把这些普通的机器组织到一起，就非常厉害了。

当时的天才程序员，也是Lucene开源项目的创始人Doug Cutting正在开发开源搜索引擎Nutch，阅读了Google的论文后，他非常兴奋，紧接着就根据论文原理初步实现了类似GFS和MapReduce的功能。

两年后的2006年，Doug Cutting将这些大数据相关的功能从Nutch中分离了出来，然后启动了一个独立的项目专门开发维护大数据技术，这就是后来赫赫有名的Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce。

当我们回顾软件开发的历史，包括我们自己开发的软件，你会发现，有的软件在开发出来以后无人问津或者寥寥数人使用，这样的软件其实在所有开发出来的软件中占大多数。而有的软件则可能会开创一个行业，每年创造数百亿美元的价值，创造百万计的就业岗位，这些软件曾经是Windows、Linux、Java，而现在这个名单要加上Hadoop的名字。

如果有时间，你可以简单浏览下Hadoop的代码，这个纯用Java编写的软件其实并没有什么高深的技术难点，使用的也都是一些最基础的编程技巧，也没有什么出奇之处，但是它却给社会带来巨大的影响，甚至带动一场深刻的科技革命，推动了人工智能的发展与进步。

我觉得，我们在做软件开发的时候，也可以多思考一下，我们所开发软件的价值点在哪里？真正需要使用软件实现价值的地方在哪里？你应该关注业务、理解业务，有价值导向，用自己的技术为公司创造真正的价值，进而实现自己的人生价值。而不是整天埋头在需求说明文档里，做一个没有思考的代码机器人。

Hadoop发布之后，Yahoo很快就用了起来。大概又过了一年到了2007年，百度和阿里巴巴也开始使用Hadoop进行大数据存储与计算。

2008年，Hadoop正式成为Apache的顶级项目，后来Doug Cutting本人也成为了Apache基金会的主席。自此，Hadoop作为软件开发领域的一颗明星冉冉升起。

同年，专门运营Hadoop的商业公司Cloudera成立，Hadoop得到进一步的商业支持。

这个时候，Yahoo的一些人觉得用MapReduce进行大数据编程太麻烦了，于是便开发了Pig。Pig是一种脚本语言，使用类SQL的语法，开发者可以用Pig脚本描述要对大数据集上进行的 *** 作，Pig经过编译后会生成MapReduce程序，然后在Hadoop上运行。

编写Pig脚本虽然比直接MapReduce编程容易，但是依然需要学习新的脚本语法。于是Facebook又发布了Hive。Hive支持使用SQL语法来进行大数据计算，比如说你可以写个Select语句进行数据查询，然后Hive会把SQL语句转化成MapReduce的计算程序。

这样，熟悉数据库的数据分析师和工程师便可以无门槛地使用大数据进行数据分析和处理了。Hive出现后极大程度地降低了Hadoop的使用难度，迅速得到开发者和企业的追捧。据说，2011年的时候，Facebook大数据平台上运行的作业90%都来源于Hive。

随后，众多Hadoop周边产品开始出现，大数据生态体系逐渐形成，其中包括：专门将关系数据库中的数据导入导出到Hadoop平台的Sqoop；针对大规模日志进行分布式收集、聚合和传输的Flume；MapReduce工作流调度引擎Oozie等。

在Hadoop早期，MapReduce既是一个执行引擎，又是一个资源调度框架，服务器集群的资源调度管理由MapReduce自己完成。但是这样不利于资源复用，也使得MapReduce非常臃肿。于是一个新项目启动了，将MapReduce执行引擎和资源调度分离开来，这就是Yarn。2012年，Yarn成为一个独立的项目开始运营，随后被各类大数据产品支持，成为大数据平台上最主流的资源调度系统。

同样是在2012年，UC伯克利AMP实验室（Algorithms、Machine和People的缩写）开发的Spark开始崭露头角。当时AMP实验室的马铁博士发现使用MapReduce进行机器学习计算的时候性能非常差，因为机器学习算法通常需要进行很多次的迭代计算，而MapReduce每执行一次Map和Reduce计算都需要重新启动一次作业，带来大量的无谓消耗。还有一点就是MapReduce主要使用磁盘作为存储介质，而2012年的时候，内存已经突破容量和成本限制，成为数据运行过程中主要的存储介质。Spark一经推出，立即受到业界的追捧，并逐步替代MapReduce在企业应用中的地位。

一般说来，像MapReduce、Spark这类计算框架处理的业务场景都被称作批处理计算，因为它们通常针对以“天”为单位产生的数据进行一次计算，然后得到需要的结果，这中间计算需要花费的时间大概是几十分钟甚至更长的时间。因为计算的数据是非在线得到的实时数据，而是历史数据，所以这类计算也被称为大数据离线计算。

而在大数据领域，还有另外一类应用场景，它们需要对实时产生的大量数据进行即时计算，比如对于遍布城市的监控摄像头进行人脸识别和嫌犯追踪。这类计算称为大数据流计算，相应地，有Storm、Flink、Spark Streaming等流计算框架来满足此类大数据应用的场景。 流式计算要处理的数据是实时在线产生的数据，所以这类计算也被称为大数据实时计算。

在典型的大数据的业务场景下，数据业务最通用的做法是，采用批处理的技术处理历史全量数据，采用流式计算处理实时新增数据。而像Flink这样的计算引擎，可以同时支持流式计算和批处理计算。

除了大数据批处理和流处理，NoSQL系统处理的主要也是大规模海量数据的存储与访问，所以也被归为大数据技术。 NoSQL曾经在2011年左右非常火爆，涌现出HBase、Cassandra等许多优秀的产品，其中HBase是从Hadoop中分离出来的、基于HDFS的NoSQL系统。

我们回顾软件发展的历史会发现，差不多类似功能的软件，它们出现的时间都非常接近，比如Linux和Windows都是在90年代初出现，Java开发中的各类MVC框架也基本都是同期出现，Android和iOS也是前脚后脚问世。2011年前后，各种NoSQL数据库也是层出不群，我也是在那个时候参与开发了阿里巴巴自己的NoSQL系统。

事物发展有自己的潮流和规律，当你身处潮流之中的时候，要紧紧抓住潮流的机会，想办法脱颖而出，即使没有成功，也会更加洞悉时代的脉搏，收获珍贵的知识和经验。而如果潮流已经退去，这个时候再去往这个方向上努力，只会收获迷茫与压抑，对时代、对自己都没有什么帮助。

但是时代的浪潮犹如海滩上的浪花，总是一浪接着一浪，只要你站在海边，身处这个行业之中，下一个浪潮很快又会到来。你需要敏感而又深刻地去观察，略去那些浮躁的泡沫，抓住真正潮流的机会，奋力一搏，不管成败，都不会遗憾。

正所谓在历史前进的逻辑中前进，在时代发展的潮流中发展。通俗的说，就是要在风口中飞翔。

上面我讲的这些基本上都可以归类为大数据引擎或者大数据框架。而大数据处理的主要应用场景包括数据分析、数据挖掘与机器学习。数据分析主要使用Hive、Spark SQL等SQL引擎完成；数据挖掘与机器学习则有专门的机器学习框架TensorFlow、Mahout以及MLlib等，内置了主要的机器学习和数据挖掘算法。

此外，大数据要存入分布式文件系统（HDFS），要有序调度MapReduce和Spark作业执行，并能把执行结果写入到各个应用系统的数据库中，还需要有一个大数据平台整合所有这些大数据组件和企业应用系统。

图中的所有这些框架、平台以及相关的算法共同构成了大数据的技术体系，我将会在专栏后面逐个分析，帮你能够对大数据技术原理和应用算法构建起完整的知识体系，进可以专职从事大数据开发，退可以在自己的应用开发中更好地和大数据集成，掌控自己的项目。

希望对您有所帮助！~

2019年，国家标准计划《玉米一次性施肥技术指南》由TC105（全国肥料和土壤调理剂标准化技术委员会）归口上报及执行，主管部门为中国石油和化学工业联合会。

主要起草单位 德州市产品检验检测研究院 、德州市农业科学研究院 、中国农业科学院作物科学研究所 、中国农业科学院农业资源与农业区划研究所 、山东华鲁恒升化工股份有限公司 。

什么和大数据随之在整个供应链中被广泛应用

什么和大数据随之在整个供应链中被广泛应用，在数字化时代，数据分析逐步成为从业人员的必备技能之一。所以我们应该注重做好数据分析。那么什么和大数据随之在整个供应链中被广泛应用？

什么和大数据随之在整个供应链中被广泛应用1

大数据时代对采购和供应链带来的挑战和机遇

1、大数据时代及其特征

大数据(Big Data)是指所涉及的规模巨大的数据。随着时代的不断进步以及科技的飞速发展，互联网、物联网、移动通讯、管理信息化、电子商务等技术不断相互渗透，并作用到国家、企业和民生的方方面面，今天，人们用大数据来描述和定义信息爆炸时代产生的海量数据，以及在合理时间内达到撷取、管理、处理、并整理成为帮助人们处理事务和决策等更积极目的的资讯与知识。

美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据都是最近几年才产生的。2020年，全世界所产生的数据规模将达到今天的44倍。从这些数据每天增加的数量来看，世界目前已进入大数据时代。

大数据时代凸显了数据资源的重要意义。2012年奥巴马政府宣布投资2亿美元拉动大数据相关产业的发展，将“大数据战略”上升为国家战略，将大数据定义为“未来的新石油”，把对数据的占有和控制视为陆权、海权、空权之外的另一种国家核心资产。2013年，法国政府发布了其《数字化路线图》，列出了将会大力支持的5项战略性高新技术，“大数据”就是其中一项。

2012年，日本总务省发布2013年行动计划，明确提出“通过大数据和开放数据开创新市场”。联合国在2012年发布的大数据政务白皮书中指出，大数据对于联合国和各国政府来说是一个历史性的机遇。我国也将大数据产业看作为战略性产业，成立了“大数据专家委员会”。

在“大数据”2014年十大趋势预测中，包括了数据商品化与数据共享联盟化，大数据生态环境逐步发展等内容。同时，大数据专家委员会预测，2014年大数据在互联网和电子商务、金融(股市预测、金融分析)、健康医疗(流行病监控和预测等)、生物信息、制药等方面将会有令人瞩目的应用。

大数据时代是大数据价值充分发挥的时代。据赛门铁克公司的调研报告，全球企业的信息存储总量已达22ZB（1ZB=1024EB，1EB=1024PB），年增67％。世界上每分钟产生1700TB 的数据，但是吸引我们的不仅仅是这个庞大的数字本身，而是我们如何利用这些数据做些什么。

大数据可以运用到各行各业，在宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值；印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%；

在制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向，等等。

据麦肯锡公司测算：大数据将给美国医疗服务业带来3000亿美元的价值，使美国零售业净利润增长达到60%，使制造业产品开发、组装成本下降50%，而大数据所带来的新需求，将推动整个信息产业的创新发展；根据经济与商业研究中心的最新研究，大数据将为英国经济增加2160亿英镑（约合3467亿美元）以上的潜在收益。

2、大数据时代对采购和供应链带来的挑战和机遇

首先，商务环境和商务模式变得越来越复杂，且更加动荡、多样和个性化。其二，电子商务业务模式的飞速发展打破了国家疆界，使得跨境业务速增、商业活动频繁，同时伴随着数据量的剧增。。其三，大数据应用处理成为企业和社会竞争发展的重要焦点。其四，有效挖掘大数据成为时代面临的重要课题。最后，许多企业对大数据的重要性认识不足，没有充分了解其价值。

什么和大数据随之在整个供应链中被广泛应用2

供应链管理中，及时和准确的数据，为什么如此重要？

1 、供应链中数据的类型

数据有许多类型，其中有一种分类方法是把它分为静态和动态数据，前者包括了公司基本信息、产品型号、采购价格、BOM等等相对固定的信息。

后者主要是一些交易性的信息，比如生产线每日的产量、客户订单数量、仓库实际收货数量、运输所在位置等等变动的信息。

静态数据做到准确即可，没有实时性的要求，比如公司的名称一般不会发生变动，只需要确保公司地址、法人和开户银行等信息是正确的。

动态数据的要求就很高了，不仅要准确，还要能反映出每时每刻的实际情况。

大家都有网购的经验，在商品出库以后，快递公司会每隔一段时间刷新包裹所在位置，这是通过车载GPS定位实现的，然后根据卡车配送计划，大致上能给出派送的时间。通过一台卡车上的GPS，可以跟踪整车的货物，这是1对N的关系，因此实现动态数据的成本并不高。

离散型制造业的情况就复杂多了，一件商品需要从原材料供应商开始追溯，进入工厂以后，需要经过若干个不同生产加工中心，然后完成组装、检验，最终才能入库，配送给下游的经销商或零售商。

我们很少会在原材料上放置追踪定位装置，除非这批货物价值很高，或是有这方面的强制监管要求，比如药品。

如果想要跟踪生产进度，就需要使用工业4、0的技术，在每台设备上装传感器，完成加工后，系统自动上传数据。如果要在每台生产和内部搬运设备上都安装传感器，对于一家工厂来说负担太大，性价比不高，除了少数的行业标杆企业以外，对于大多数工厂来说，想要做实时数据的想法并不强烈。

2、 为什么供应链需要及时和准确的数据？

话虽如此，供应链对于数据及时和准确性是有很强的需求的，因为我们要在所有的生产、分销、采购和售后服务之间建立数据的无缝链接。除此之外，还有两个关键因素使得我们必须获得及时和准确性。

2、1增强供应链可视性

对于供应链上的玩家来说，关键的可视性问题包括了货物的预计生产出货时间，比如供应商承诺了30天交货，但是实际上他需要45天，因为一些原材料涨价了，供应商需要更多的时间在市场上找到货源，他不愿意买更贵的原料，因为这会增加成本，除非客户愿意接受供应商的调价请求。

原料和零部件库存的所处位置也属于可视性，客户需要根据这些信息，来安排后续的生产和销售计划，并且非常依赖于信息的准确性。当供应商承诺货物将会在某日送到客户工厂后，供应链就把这个信息输入系统，并以此为依据来制定生产计划，销售根据生产完成日期来通知客户，环环相扣。

一旦供应商的信息有误，货物晚于承诺时间到达，就会影响到供应链下游的安排，所谓的“计划赶不上变化”就发生了。

追踪交货期和库存位置仅是可视性的初阶水平，更深层次的要求是可以预警供应链中断风险。根据现有的信息，我们需要判断何时何地会出现缺货，以及对生产和销售的影响是什么。

比如，生产线缺少某种零部件，所以会停线4个小时。如果每小时产量是100套产品，每套售价是200元，那么造成的损失就等于4100200=80000元。

当然在现实世界中计算的方式更加复杂，某种原料的短缺会牵涉到N多产品和N多客户。如果我们能增强可视性，就能够预见到未来的潜在供应短缺，并能够在第一时间里作出反应。

要实现这点，就必须让数据及时和准确地在供应链上下游之间自动传输，尽量减少人为的干预的环节。

2、2提高计划的'有效性

预测计划的重要输入是历史销售记录，以数据为基础，结合预测模型，制定出中长期的预测。

对于制造企业来说，财务需要供应链提供的输入，来制定未来的商业计划和各类预算，比如库存、采购金额、运费等等。

底层数据的准确性非常重要，所有的计划都是在这些数据的基础上，配以数据模型，然后“加工”出来的。供应链会花费一定的时间在数据维护上，就是要确保基础数据的准确性。

我们知道预测有一个定律，近期的准确性高于远期的，就像是预测天气一样，天气预报上关于明天的天气是最准的，越往后准确性越低。

供应链为了增强预测准确性，就需要拿到最新的数据，这样做出来的计划准确性就越高。现在的需求波动越来越频繁，可能一天一个样，想要做出最准确的判断，必须用最新的数据。

3、 获取及时和准确的数据的关键事项

考虑到以上的两点动因，供应链一直在努力获得最及时和准确的数据。这里有几个需要特别留意的点值得大家关注。

3、1自动化数据采集

如有可能的话，应该尽量在实时情况下收集、传输数据。数据存储在供应链内部和外部的各个节点上，为了提升数据可靠性和及时性，最好的办法就是自动化采集。

在内部实施这点相对容易，只需要投资数字化工具，实施IT项目就可以实现。

在外部伙伴实施起来难度就高了，其中的最大阻力是害怕共享数据后的商业机密泄露。

供应商担心客户知道了他的上游供应商的信息，可能会跳过中间商，不让他继续赚差价。因此在做系统对接的时候，要确保只分享可以分享的数据，比如包装规格之类的。

3、2控制对相关数据的访问

根据使用者在公司中的职能，给予特定的数据访问权限，比如采购订单只能由采购计划员进行创建和修改，公司里的其他人只有查看的权限。

对于外部伙伴也是一样，客户可以查看供应商的库存商品数量信息，但他绝对不能访问商品的成本分析等商业机密。

3、3努力提升、维护数据的准确性

我们需要不断提升数据的准确性，其中关键在于数据采集和输入。我们要定期维护数据，比如系统中库存或是倒冲过账出现了负数，说明某些地方的数据存在问题，流程可能有漏洞，需要我们找到问题点并且尽快处理掉。

数据是供应链的根基，为我们制定各类计划提供了基础。实现准确和及时的数据虽然有点小贵，但是在供应链大中断时期（the Great Supply Chain Disruption），投资必然能带来相应的回报。

什么和大数据随之在整个供应链中被广泛应用3

大数据成为供应链利器

在中国供应链大数据份额中，零售业、制造业、服务业(非金融)、医疗业占比最多，约占83%市场份额，而能源仅占1%。而据易观智库预测，2016年中国供应链大数据市场将达到60亿左右(不含供应链金融部分)。

该报告把供应链大数据分为结构数据、非结构数据、传感器数据及新类型数据四种，涵盖了交易数据、时间段数据、库存数据、客户服务数据、位置数据等各个方面。报告显示，目前，大数据已经被广泛应用于包括物流、服务和金融等供应链环节。

有效推进物流模式变革

在供应链中，大数据的作用首先体现在物流中。2014年12月26日，中国物流信息中心公布的数据显示，1-11月，全国社会物流总额1969万亿元，按可比价格计算，增长83%，较上年同期回落13个百分点。而从近五年的情况来看，物流企业资产规模增速逐步放缓，物流企业经营效益偏弱。

在这种情况下，物流企业需要从价值延伸的角度提供超过客户预期的服务，以高效物流+增值服务的思路发展，而大数据是物流企业提供增值服务的基础要素。另外，随着众多专业化物流模式的兴起，降低供应链成本的核心将是数据资产的运用，大数据能够有效地推进高效率的`物流模式变革，是降低物流成本费用的有效手段。

利用大数据，企业可以与中国气象服务中心合作，收集高速公路信息，提供全国高速公路的天气预报和道路实况服务，可以优化行车路线，并对车辆和货物状态进行实时监控、评估和预警，对产品的运输进行智能追溯。

企业通过大数据，依据物流的时间、成本、服务、物流数据、客户需要等决策因素，可以对风险进行有效预测和评估，制定出合理、准确和科学的决策。利用物流数据，企业可以进行详细的区域和网店预测，帮助电商平台和快递公司迅速做出决策。

例如，亚马逊已经申请专利的“预测性物流”就是个利用大数据洞察用户需求的典范。“预测性物流”会检测用户的鼠标在商品上的停留时间，再综合考虑用户的购买历史、搜索记录、愿望清单等。

从而根据这些海量数据预判用户的购买行为，提前将这些商品运出仓库，放到托运中心寄存，等到用户真的下单了，就可以立即开始运送商品。通过利用大数据，亚马逊大幅缩减了商品的送货时间。

构建预测模式提高协同效应

根据大数据的分析，物流企业可以构建预测模式，实现对产品销量的精准预测，进而实现对未来库存量的精准计算，使工厂、区域市场、本地市场的库存配置更加合理，从而提高协同效应。企业可以通过充分掌握供应链物流过程中的所有基础数据，结合企业自身的资源、能力状况，对整个供应链进行必要的控制和监督。

例如，神州租车的车辆租用率曾经在达到一定程度后出现了瓶颈，一部分车辆出现空置状态。通过使用SAP推出的数据库平台SAPHana，神州租车优化了流程，将车辆使用率再次提高了15%。

提供精准金融服务

通过大数据技术进行行业分析和价格波动分析，能够尽早提出预警，规避信贷风险，可以对目标客户进行资信评估、审批短期小额贷款，以及精准金融和物流服务贷款。

例如，为了实现银行和中小外贸企业之间的对接、打破信息不对等的状态，阿里巴巴旗下一达通公司运用自身的系统处理能力，将监管、申请、投放、还款、放贷等相关融资工作纳入一个统一的信息化网络处理平台，通过全程掌控交易流程。

获取交易环节的详细数据和信息，以第三方服务平台的角色验证企业贸易真实性，实现各方信息交互、业务协同、交易透明，从而为解决中小企业融资难问题找到可行的方案。

在供应链金融中，大数据还可以提供诸多的增值服务。利用大数据，从源头获取用户需求信息，洞察潜在需求，为供应链提供信息咨询;可以对供应链金融上下游客户进行全方位信用管理，形成互动的监管和控制机制，降低交易成本和风险;对供应链绩效进行分析与预测，指导供应链管理，尤其是供应链协同数据的运营。

以上就是关于全球历年gnp数据2001-2005全部的内容，包括:全球历年gnp数据2001-2005、多软件系统在油气勘探中的联合应用研究、大数据时代发展历程是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！