海量数据的产生:
- 来自大人群互联网
- 来自大量传感器机械
- 科学研究及行业多结构专业数据
大数据的定义:无法在一定时间内用常规软件工具对其内容进行抓捕、管理和处理的数据集合
经典案例:啤酒与尿布、谷歌与流感。
大数据的范围:采集、存储、搜索、共享、传输、分析和可视化
大数据产生的原因(1)信息技术的飞速发展,是大数据产品的技术基础
在互联网技术的技术上,产生物联网技术、无线互联技术、无线传感技术不断推行了物联网、移动互联网和传感器网络的飞速发展,各个网络都在持续不断的产生和传播数据。另外数据抓取技术可以使人们方便地获取数据;并行处理技术的发展,极大地提升了海量数据的处理能力和处理效率;容量、高可靠的存储技术,可以让人们更多、更快地存取数据。
(2)数据产生方式的多元化,是大数据产生的数据基础
全世界网民成为数据的生产者,每一个网民就是一个信息系统不断地制造数据。
(3)企业思维转变,是大数据产生的内在动力
企业开始注重于企业内外部数据挖掘,在海量的数据中搜索出隐藏的规律和价值,从而为决策者提供更好的参考。大数据时代的到来,人类对于数据的搜索和利用能力得到了巨大的提升,主要表现在企业大数据的挖掘上。
大数据概念的提出1887-1890年:电功器
1944年:预见大数据
1997年:用大数据描述超级计算机产生的大量信息
2003-2006年:谷歌提出大数据可重用方案
2008年:提出大数据概念
2009年:大数据逐渐走进互联网
2012年:大数据成为一种新的资产类别
2013年:大数据元年
第一范式:实验
第二范式:理论
第三范式:计算
第四范式:数据
大数据的4V特征一、大量化
- 存储量大
- 增量大
二、多样化
1.来源多
1)搜索引擎
2)社交网络
2.格式多
1)结构化数据
2)非结构化数据
三、快速化
四、价值密度低
企业推动大数据行业发展- 腾讯
- 华为
- 谷歌
- 阿里
- 数据库
- ETC
一、大数据预处理技术
1.数据采集
2.数据存储
3.基础架构支持
4.计算结果展示
二、大数据存储技术
1.存储设备能持久可靠的存储数据
2.提供可伸缩接口
3.提供高效查询、更新等 *** 作
三、大数据分析技术
1.数据处理
2.统计和分析
3.数据挖掘
4.模型预测
四、大数据计算技术
典型的大数据计算架构1)Hadoop——处理本地数据
2)Spark——收集并更新
3)Storm——延迟毫秒级
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)