专转本-大数据技术概述-笔记

专转本-大数据技术概述-笔记 大数据出现背景：

信息技术进步 云计算技术的兴起 数据资源化的趋势

大数据

大数据（big data），是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据提出

部分人认为大数据概念由全球知名咨询公司麦肯锡提出。 部分人认为是由 1980 年阿尔文.托夫勒在《第三次浪潮》中提到。 大多数人认为最早在 2008 年 8 月在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》提出。

大数据主要特性：

数据量大（Volume）： 数据类型繁多（Variety）：行业数据多，数据种类多：邮件、视频、音频、微信、微博、位置信息、网络日志等。 处理速度快（Velocity）：大数据时代的数据产生速度非常迅速。大数据时代的很多应用都需要基于快速生成的数据给出实时分析结果，用于指导生产和生活实践。 价值密度低（Value）：大数据虽然看起来很好，但是价值密度却远远低于传统关系型数据库中已经存在的那些数据。在大数据时代，很多有价值的信息都是分散在海量数据中的。

大数据发展历程

萌芽阶段（20 世纪 90 年代至 21 世纪）：数据库技术成熟，数据挖掘理论成熟，也称数据