大数据与云计算

大数据与云计算 1.1大数据

1. 大数据的定义：在一定时间范围内用常规软件工具进行捕捉、管理和处理数据集合。
2. 经典案例：（1）啤酒与尿布                  （2）谷歌与流感
3. 大数据的范围：采集、存储、搜索、共享、传输、分析和可视化。
4. 内存：运行速度。
5. 存储：储存容量。
6. 海量数据产生：（1）来自大人群互联网 

                                  （2）来自大量传感器机械

                                  （3）科学研究及行业多结构专业数据

1887—1890年：电功器

1994年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息。

2003—2006年：谷歌提出大数据可重用方案。

2008年：提出大数据概念。

2009年：大数据逐渐走进互联网。

2012年：大数据成为一种新的资产类别。

2013年：大数据元年

1ZB=10亿TB

各数据量单位：KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB

单位以PB衡量的数据可称为大数据。

1字节（8位）→1个英文字母或二进制8位数

1文字=2字节=16位

1.2第四范式

实验（第一范式）→理论（第二范式）→计算（第三范式）→数据（第四范式）

1.大数据的特征

  （1) 大量化 (存储量大、  增量大）

  （2）多样化【来源多（搜索引擎、    社交网络）；  格式多（结构化数据、  非结构化数据）】

    (3） 快速化

  （4）  有价值                              

 2.企业推动大数据

 

1.3大数据的关键技术

1.大数据预处理技术：数据采集、 数据存取 、基础架构支持 、计算结果展示

2.大数据存储技术：储存设备能持久可靠的的存储数据 、提供可伸缩接口 、提供高效查询，更新等 *** 作

3.大数据分析技术：数据处理 、统计和分析 、数据挖掘 、模型预测

4.大数据计算技术

1.4大数据的典型计算架构

Haddop→处理本地数据

Spark→收集并更新

Storm→延迟毫秒级

云计算概述

无处不在的云计算：电子日历、电子导航、钉钉等

什么是云计算？

像水，电，煤（资源性产品）一样利用你的it资源（计算机储存网络资源）

关键词：按需使用，超大规模，高d性

定义：指按需使用it资源和应用程序，通过互联网按使用量付费。

四种云：

1. 公有云：提供公共的IT资源              缺点：保密性低
2. 私有云：提供给政府，学校等地       优点：保密性高
3. 社区云：研究人员使用
4. 混合云：包含以上任意两种

生活中的例子：

1. 出行论：自己买车开车（混合云）
2. 吃饭论：餐厅（公有云）在家做饭（私有云）
3. 酒店论：酒店（公有云）家（私有云）

2.1云计算的基本特征

1. 资源无限量供应
2. 提供自助式服务
3. 远程提供服务
4. 资源可控
5. 按使用量付费

2.2云计算的发展背景

1.20世纪60年代，计算机革命

2.20世纪90年代，互联网革命

1994年weblo（单向传递）

2004年weblo（双向传递）

3.2010年，移动互联网革命

2.4云计算模下的it建设

特点：

1. 开放硬件平台，软件与硬件解藕
2. it建设的传统ioe架构转向互联网架构
3. 分布式设计软件定义储存
4. 集中资源池的共享，虚拟化，分时共享
5. 动态调配，d性伸缩，低成本，标准化硬件
6. 芯片新介质取得突破（云计算IT的基础）

优点：省时省力省电省钱省人省地

2.5云计算的特点

1. 虚拟化技术
2. 动态可扩展性
3. 按需部署
4. 灵活性高
5. 可靠性高
6. 性价比高
7. 地理分布
8. 先进安全技术

2.6云计算的主要服务模式

IaaS 第一层

SaaS 第二层

PaaS 第三层

1.Iaas【基础设施即服务（租用）】       关键技术：虚拟化技术

2.SaaS【平台即服务（编程）】            数据库服务web应用   

特点：（1）简化开发人员

           （2）提供pc端或软件端的开发套件

           （3）丰富的开发环境

           （4）完全可托管的数据化服务

           （5）可配置式的应用程序的构建

           （6）支持多语言的开发

           （7）面向市场

关键技术：（1）分布式并计算         （2）分布式储存

3.SaaS【软件即服务（用户）】        关键技术：多租户技术

4.三种服务的区别

（1）IaaS（最低层） → 提供基础设施服务

（2）PaaS（提供软件）→  部署平台

（3）SaaS（拿来即用）例如：云计算服务=做饭做餐

                                                  云计算服务商=饭店            

          IaaS=提供厨房，锅具等(不提供食材和技术)

           PAAS → 提供厨房切好的食材(不提供技术)

           SaaS → 提供厨房，食材，技术

           IaaS → 租车

           PaaS → 租车+司机

           SaaS → 坐公交

三虚拟化技术

1.什么是虚拟化？

作为一种计算机资源管理技术将各种的工厂实体资源抽象的转化为另一种形式的技术

2.云计算与虚拟化有什么关系？

云计算1.0 → 以虚拟化为核心

云计算2.0 → 以资源为核心

云计算3.0 → 以应用为核心

云计算：一种服务

虚拟化：一种技术基础

物理机：(1) *** 作系统：Host  OS

               (2)硬件：Host  Machine

虚拟机：(1) *** 作系统：Guest  OS

               (2)虚拟机:Guest  Machine

               (3)VMM（虚拟监控器）

               (4)硬件：Host  Machine

 4.虚拟化的特点

  (1)区分 → 可分为多个虚拟机

（2）隔离 → 虚拟机与虚拟机之间相互独立

（3）封装 → 独立的文件夹形式

（4）相对于硬件独立 → 屏蔽底层硬件不兼容问题

5.虚拟化类型

一．寄居虚拟化：在主 *** 作系统上安装和运行的一个程序

特点：（1）简单易于实现

           （2）安装和运行应用程序时依赖于主 *** 作系统对设备的支持

           （3）有两层OS管理开销大性能损耗大

            （4）虚拟机对各种物理主机的调用都是通过虚拟化层和宿主OS一起调用完成

二.裸金属虚拟化 → 在硬件上部署虚拟化层

 特点：

（1）不依赖于 *** 作系统

（2）支持多种 *** 作系统

（3）依赖虚拟层内核和服务控制台进行管理

（4）需要对虚拟层进行内核开发

三.混合虚拟化 → 插入内核模块

  *** 作系统：KVM

特点

(1)相对于寄居虚拟化性能高

(2)相对于裸金属虚拟化不需要内核开发

(3)支持多种 *** 作系统

(4)需要底层硬件支持虚拟扩展功能

6.虚拟化层构架：

全虚拟化（KVM），半虚拟化（Xen），硬件辅助虚拟化

(1)全虚拟化：

即所抽象的VM具有完全的物理特性虚拟化层负责捕获CPU指令，为指令访问硬件充当媒介

特点:OS无需修改  速度和功能比较好  使用非常简单  移植性好

 

 (2)半虚拟化：

 特点：架构更简单  对OS进行修改 用户体验比较麻烦  速度上占一定优势 

(3)硬件辅助虚拟化

7.虚拟化技术的优势和劣势

优势：（1）减少物理资源的投入节约成本

           （2）虚拟化数据资源迁移方便

           （3）提高物理资源的使用率

           （4）高价环保节省能源

           （5）易于自动化维护与 *** 作减少维护成本

            （6）数据安全更有保障

劣势：（1）目前此界没有统一的虚拟化技术标准平台没有开放的协议

           （2）如果没有对数据进行备份用虚拟化技术会存在一定的风险

           （3）虚拟化数据中心的迁移特别是对在线服务的迁移对用户影响巨大

8.全虚拟化与半虚拟化举例对比

       KVM（性能）                                Xen（安全）

（1）全虚拟化                               （1）半虚拟化

（2）内置在内核中                        （2）需要修改内核

（3）便于版本安装升级维护          （3）更新版本重新编辑整个内核

（4）性能高                                   （4）隔离好