大数据与云计算.

大数据与云计算. 大数据的定义：在一定时间范围内用常规的软件工具进行捕捉，管理和处理数据集合。

简单案例：1.啤酒与尿布

2.谷歌与流感

大数据的范围：采集、存储、搜索、共享、传输、分析和可视化。运行速度

内 存 ：运行速度

存储：存储容量

海量数据的产生：（1）来自大人群的互联网

                                （2）来自大量传感器机械

1887--1890：电功器

1944年：预见大数据

1997年：用大数据描述超级计算机产生的大量信息

2003--2006年：谷歌提出大数据可重2009年：大数据逐渐走进互联网

2012年：大数据成为一种新的资产类别

2013年：大数据元年

1zb=10亿TB

单位以PB衡量的数据可称为大数据

1.2第四范式

实验 -----理论-------计算-------数据

大数据的特征：大量化、多样化、快速化、有价值

企业推动大数据：

腾远、华为、谷歌、ETC、数据库、阿里

大数据的关键技术：

大数据处理技术：数据采集、数据存储、基础架构支持、计算结果展现

大数据存储技术：存储设备你持久可靠的存储数据、提供可伸缩接口、提供高效查询，更新 *** 作

大数据分析技术：数据处理、统计和分析、数据挖掘、模型预测

大数据计算技术：

大数据的典型计算框架：

Hadoop------处理本地数据

spark--------收集并更新

storm--------延迟毫秒级

云计算概论

无处不在的云计算：电子日历、地图导航、钉钉

什么是云计算？

像水、电、煤一样李云你的IT资源

按需使用       超大规模     高d性  

定义指按需使用IT资源和应用程序，通过互联网按使用量付费

四种云：

1.公有云---提供公共IT资源

缺点：保密性较低

私有云----提供给政府学校等地

优点：保密性高

社会云----研究人员使用

混合云----包含以上任意俩种

云计算的基本特征：

资源无限量供应、提供自助式服务、远程提供服务、资源可控、按使用量付费

云计算的发展背景：

20世纪60年代，计算机革命

20世纪90年代，互联网革命

1994年------weblo

2004年----weblo（双向传递）

2010，移动互联网革命

云计算的特点：虚拟化技术、动态扩展性、按需部署、灵活性高、可靠性高、性价比高、地理分布、先进安全技术

云计算的主要服务模式

IAAS    SaaS    paas

1iaas（技术设施即服务）

关键技术：虚拟化技术

paas（平台及服务）

SaaS（软件及服务）

关键技术：多租户技术

虚拟化技术

什么是虚拟化技术？

作为一种计算资源管理技术讲多种的it实体资源抽象转化为另一种形式的技术

云计算与虚拟化的关系

云计算1.0----以虚拟化为核心

云计算2.0---以资源为核心

云计算3.0---以应用为核心

云计算：一种服务

虚拟化：一种技术基础

物理机： *** 作系统、硬件

虚拟机： *** 作系统、虚拟机、vmm、硬件

虚拟化的特点 ：分区、隔离、封装、相对硬件独立

虚拟化类型：

寄居虚拟化:在主 *** 作系统上安装和运行的一个程序

特点：简单易与实现、安装和运行应用程序时，依赖于主 *** 作系统对设备的支持、有两层os，管理开销大，性能顺耗大、虚拟机对各种物理机的调用

裸金属虚拟化技术---在硬件上部署虚拟化层

特点：

不依赖于 *** 作系统、支持多种 *** 作系统、依赖虚拟层内核和服务控制台进行管理、需要对虚拟层进行内核开发

混合虚拟化----插入内核模块

特点：

相对于寄居虚拟化性能高、相当于裸金属虚拟化不需要内核开发、支持多种 *** 作系统、需要地产硬件支持虚拟扩展功能

全虚拟化：即所抽象的vm具有完全的物理特征，虚拟化层负责捕获CPU指令，为指令访问硬件充当媒介

特点：os无需修改、速度和功能比较好，使用非常简单、移植性好

半虚拟化：架构更简单、对os进行修改，用户体验比较麻烦、速度上占一定优势

虚拟化技术的优势和劣势

减少物理资源投入，节约成本、迁移方便、提高利用率、更加环保，节能能源、易于自动化维护与 *** 作，减少维护成本、安全更有保障

没有统一的虚拟化技术标准与平台，没有开发的协议、如果没有对数据进行备份，应用虚拟化技术1存在一定的风险、虚拟数据中心的迁移，特别是对在线服务的迁移，对用户影响巨大。

+