期末救命-大数据技术原理及应用(林子雨版）（巧记知识点）

期末救命-大数据技术原理及应用(林子雨版）（巧记知识点）

大数据
第一章
1、三次信息化浪潮
信息化浪潮 发生时间 标志 解决问题
第一次浪潮 1980年前后 个人计算机 信息处理
第二次浪潮 1995年前后 互联网 信息传输
第三次浪潮 2010年前后 物联网、云计算、大数据 信息爆炸

2、信息技术为大数据时代提供技术支撑（大数据到来的原因）？
1.存储设备容量不断增加，价格在不断下降
2.CPU处理能力大幅提升
3.网络带宽不断增加
3、数据产生方式的变革，是促成大数据时代来临的重要因素（数据产生方式经历的阶段）

运营式系统阶段 ——企业
用户原创内容阶段 ——用户本身
感知式系统阶段——物联网的发展，大量传感器
4、大数据发展历程
第一阶段：萌芽期，20世纪90年代至21世纪初
第二阶段：成熟期，21世纪前10年
第三阶段：大规模应用期，2010年以后
5、大数据的概念（4V） 进货的量大 泪就多，就算处理的速度快，价值也低
数据量大、数据类型繁多、处理速度快、价值密度低
数据量大 类型繁多
处理速快价值密度低
6、数据存储单位之间的换算关系（1 Byte=8 bit 、1 KB=1024 MB）
bit、Byte、KB、MB、GB、TB、PB（大数据）、EB、ZB
全球总共有35ZB数据
企业、银行数据属于关系型数据，（官的）
视频、微信、手机呼叫信息等属于非结构化数据

7、大数据对科学研究的影响
第一范式：实验科学
第二范式：理论科学
第三范式：计算科学
第四范式：数据密集型科学

大数据影响，即为4范式
实验理论前两个 计算数据密集完
8、大数据对思维的认识

1 全样而非抽样
2. 效率而非精确
3. 相关而非因果

全样非抽样 效率非精确
相关非因果 思维对数据

大数据关键技术
数据采集与预处理
数据存储和管理
数据处理与分析
数据安全和隐私保护
9、大数据计算模式

批处理，流计算
查询分析图计算

批处理计算，MapReduce、Spark
流计算
图计算
查询分析计算，Hive

10、云计算
云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地的获得所需的各种IT资源
云计算服务模式
• IaaS，基础设施即服务
• PaaS，平台即服务
• SaaS，软件即服务
云计算包括公有云、私有云和混合云
11、关键技术
虚拟化
分布式存储
分布式计算
多租户

云计算 的概念
网络提供伸缩廉
分布式计算的能力
只需有网获资源
服务模式有3个
基础平软IPS
关键技术有4个
虚拟化 分布式
存储计算多租户
云算内容就背完

12、物联网
感知层、网络层、处理层、应用层（了解）
关键技术
识别和感知技术
网络与通信技术
数据挖掘与融合技术

物联网 万物联
关键技术就3点
识别感知网通信
数据挖掘融合完

13、大数据与云计算、物联网的关系

物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑
云计算为大数据提供了技术支持，大数据为云计算提供了用武之地
云计算为物联网提供了海量数据存储能力，物联网为云计算技术提供了广阔的应用空间

要谈三者的关系，那么就来谈一谈
雾是大树的来源，大树为物支撑点
云为大树供支持，大树让云有家园
云让雾联有能力，雾让白云有空间

第二章
1、Hadoop
Hadoop是Apache旗下的开源分布式计算平台
核心是分布式文件系统HDFS和MapReduce
HDFS是针对谷歌文件系统GFS的开源实现
MapReduce是针对谷歌MapReduce的开源实现

2、特性
高可靠性，高效性，高可扩展性，
高容错性 成本低，运行在Linux平台上，支持多种编程语言

还读谱 啊发奇
开源分布算平台
核心分布文件俩
H D F S第一个
迈普瑞丢死背完全
谈特性 有点乱
4点高高背一半
高可靠、高效性
高展高容成本贱
运行泪牛平台上
支持多种编程言

Hadoop的版本 最新3.x
2.x完全不同于1.0，全新的构架