第二章 大数据技术概述

第二章 大数据技术概述

 1、什么是大数据？

大数据（Big data或Megadata）：

大数据，或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间达到截取、管理、处理、并整理成为人类所能解读的形式的信息。

2、大数据特点①Volume：

数据量大，包括采集、存储和计算的量都非常大

3.大数据的定义：

    在一定时间范围内用常规软件工具进行捕捉，管理和处理数据集合

3.1经典案例：（1）啤酒与尿布

           （2）谷歌与流感

3.2大数据的范围：采集、存储、搜索、共享、传输、分析和可视化

内存：运行速度

存储：存储容量

3.3海量数据产生:(1) 来自大人群互联网

                （2）来自大量传感器机械

                （3）科学研究及行业多结构专业数据

4.时间

1887-1890年：电功器

1944年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息

2003-2006年：谷歌提出大数据可重用方案

2008年：提出大数据概念

2009年：大数据逐渐走进互联网

2012年：大数据成为一种新的资产类别

2013年：大数据元年

5.各数据量单位：KB>MB>GB>TB>PB>EB>ZB>NB>DB

  1ZB=10亿TB

6.单位以PB衡量的数据可称为大数据

  1位（二进制0或1）

一字节（8位）：

      一个英文字母或二进制8位数

1文字=2字节=16位

7.第四范式

实验（第一范式）——理论（第二范式）——计算（第三范式）——数据（第四范式）

8.大数据的特征：

（1）大量化：存储大，增量大

（2）多样化：

来源多：搜索引擎、社交网络等

格式多：结构化数据、非结构化数据

 （3）快速化

 （4）有价值

9.企业推动的大数据：

腾讯、华为、谷歌、阿里、ETC、数据库

10.大数据的关键技术：

(1)大数据预处理：

数据采集、数据存取、基础架构支持、计算机结果展现

(2)大数据存储技术：

存储设备能持久可靠的存储数据、提供可伸缩接口、提供高效

查询更新等 *** 作

(3)大数据分析技术：

数据处理、统计和分析、数据挖掘、模型预测

(4)大数据计算技术

11.大数据的典型计算架构：

  Hadoop:处理本地数据

Spark:收集并更新

Storm:延迟毫秒级