数据分析讲解

数据分析讲解 数据分析概念

包括狭义数据分析 和数据挖掘

狭义数据分析

根据目的 采用分析方法 对收集的数据进行分析处理 提取有价值的信息 发挥数据的作用 得到一个特征计量结果的过程

数据挖掘

从大量杂乱数据中通过聚类 分类 回归 关联规则等技术 挖掘潜在价值的过程。

数据分析流程

大数据采集 大数据处理 大数据存储与管理 大数据分析与挖掘 大数据可视化

数据采集

web端  app端 传感器   数据库 第三方

ETL

抽取 转换 加载 

数据预处理

数据清洗

清洗的目的在于 提高数据质量，把脏数据清洗干净 是数据干净 完整权威 合法 一致

脏数据

清洗对象

缺失值 重复值  异常值

数据集成

数据规约

1.精简数据量，包括属性选择和数据抽样

2.现实场景，数据集庞大，数据海量，再整个数据集进行数据分析挖掘需要浪费时间

3.数据规约目的在于从庞大数据集中获取精简数据集合，使其保存完整性，提高数据挖掘效率

数据变换

目的将数据转换或统一存储形式

分布式文件系统hdfs

分布式列存数据库-Hbase

(构建在HDFS上的分布式存储系统)

内存数据库-Redis

消息分发和存储-Kafaka

非结构化数据存储-OSS

数据挖掘技术

提取隐含在数据中的人们事先不知道 但是又是潜在 有用的信息和知识。

数据可视化技术

常见可视化图表

线图 柱图 饼图 散点图 雷达图 漏斗图 旋风漏斗图 

应用场景

1.行为分析

2.营销分析

3.社交分析

4.网络安全

5.设备管理

6.交通物流分析

7.欺诈行为检测

常用库

numpy pandas sklearn matplotlib