大数据技术基础知识

一、大数据技术
1、试述数据产生方式经历的几个阶段。
运营式系统阶段：在这个阶段，数据的产生方式是被动的，只有当实际企业业务发生时，才会产生新的记录并存入数据库。
用户原创内容阶段：互联网真正的数据爆发。强调自服务，大量上网用户本身就是内容的生成者，数据量开始急剧增加。
感知式系统阶段：原因：物联网的发展，物联网的一些传感设备，每时每刻在产生大量数据，物联网中的自动数据产生方式，在短时间内生成更密集、更大量的数据，使人类社会迅速步入“大数据时代”。
2、试述大数据的4个基本特征。
数据量大：数据以自然方式增长，其产生不以人的意志为转移。各种数据产生速度快，产生数量大，远远超出人类可控的范围。
数据类型繁多：大数据数据类型丰富,包括结构化数据和非结构化数据。
处理速度快：大数据时代的数据产生速度非常迅速。
价值密度低：价值密度远远低于传统关系数据库中已有的那些数据。很多有价值信息都分散在海量数据中。
3、试述大数据对思维方式的重要影响。
思维方式的3种转变:全样而非抽样、效率而非精确、相关而非因果
1)全样而非抽样：过去，由于数据存储和处理能力的限制，在科学分析中，通常采用抽样的方法，通过对样本数据的分析来推断全集数据的总体特征。现在有大数据技术的支持，科学分析可以直接针对全集数据，并且可以在短时间内迅速得到分析结果，速度之快。
2)效率而非精确：过去，采用抽样分析方法，误差会被放大，为了保证误差被放大到全集数据时仍然处于可以接受的范围，需确保抽样分析结果的精确性。其次才提高算法效率。现在，大数据时代采用全样分析而不是抽样分析，不存在误差被放大的问题。数据分析的效率成为关注的核心。
3)相关而非因果：过去，数据分析的目的，解释事物背后的发展机理和用于预测未来可能发生的事件，都反映了一种“因果关系”。在大数据时代人们转而追求“相关性”而非“因果性”。
4、举例说明大数据的具体应用
制造业:利用工业大数据提升制造业水平，如产品故降诊断与预测、分析工艺流程、改进生产工艺、优化生产过程能耗、工业供应链分析与优化等
金融：大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重要作用
汽车：利用大数据和物联网技术实现无人驾驶汽车
互联网：借助大数据技术，分析客户行为，进行商品推荐和有针对性广告投放
餐饮：利用大数据实现餐饮o2o模式，彻底改变传统餐饮经营方式
电信：利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施
能源：利用大数据技术分析用户用电模式，改进电网运行，合理设计电力需求响应系统，确保电网运行安全
物流：利用大数据优化物流网络，提高物流效率，降低物流成本
城市管理：利用大数据实现智能交通、环保监测、城市规划和智能安防
生物医学：通过大数据实现流行病预测、智慧医疗、健康管理，解读DNA等
体育与娱乐：通过大数据训练球队，预测比赛结果，分析投拍哪种题材影视作品
安全领域：政府利用大数据技术构建强大的国家安全保障体系，企业利用大数据抵御网络攻击，警察借助大数据来预防犯罪
个人生活：通过大数据分析个人生活行为习惯，提供更加周到的个性化服务
举例说明大数据的关键性技术
数据采集与预处理：利用ETL工具将分布在异构数据源中的数据，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；利用日志采集工具把实时采集的数据作为流计算系统的输人，进行实时处理分析
数据存储和管理：利用分布式文件系统、数据仓库、关系数据库、NoSQL 数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
数据处理与分析：利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据
数据安全和隐私保护：在从大数据中挖掘潜在的巨大商业价值和学术价值的同时,构建数据安全体系和隐私数据保护体系，有效保护数据安全和个人隐私