大数据概述

大数据概述 数据的相关概念

“数据”是对客观事件进行记录并可以鉴别的符号，对客观事物的性质状态以及相互关系等记载的物理符号或这些物理符号的组合，是可识别的抽象的符号。

比如说文本，图片，音频等

信是与数据不同的概念，信息是较为宏观的概念，数据的有序排列组合而成，传达给读者某个概念方法等，而数据则是构成信息的基本单位，离散的数据没有任何实用价价值。

计算机系统的数据组织形式：文件和数据库。

• 文件：如word文件、一个图片文件等；
• 数据库：数据库已经成为计算机软件开发的基础和核心。

 数据生命周期：数据从创建、修改、发布利用到归档/销毁的整个过程。

数据利用

数据清洗->数据管理->数据分析 

数据的价值

• 数据的价值不会因为不断使用而消减，反而会因为不断重组而产生更大的价值
• 各类收集来的数据都应当尽可能的保存下来，同时也应当在一定条件下与社会分享，并产生价值
• 数据已经具备资本的属性，可以用来创造经济价值

 信息科技通过技术支撑

• 存储设备容量不断增加
• cpu处理能力大幅提升
• 网络带宽不断增加

什么是大数据

指数据集的大小超过了现有典型的数据库软件和工具的处理能力。与此同时，及时捕捉、存储、聚合、管理这些大数据以及对数据深度分析的新技术和新能力正在快速增长。

大数据的4V性质

数据类型多、数据量巨大、变化速度大、价值密度低

大数据对科学研究的影响

1. 科学研究第一种范式：实验
2. 科学研究第二种范式：理论
3. 科学研究第三种范式：计算
4. 科学研究第四种范式：数据

大数据对社会发展的影响

1. 大数据决策逐渐成为一种新的决策方式
2. 大数据成为提升国家治理能力的新途径
3. 大数据应用有力促进了信息技术与各行业的深度融合
4. 大数据开发大大推动了新技术和新应用的不断涌现

大数据起源

google大数据三大论文、Hadoop诞生

mapreduce、spark批处理计算

storm、flink、sparkstream 流处理