数据可视化3

数据可视化3 Hadoop:

​ HDFS:Hadoop Distributed File System

​ MapReduce—>Spark—>PySpark

filter–>map—>reduce

数据专员—>Excel—>透视表

业务数据分析师 Python/SQL/Hive/Excel

数据挖掘工程师 SPSS/Excel/Python/R

算法工程师 编程+数学+算法+大数据

python测试代码性能

1. timeit

python -m timeit 代码

2. cprofile

类之间的三种关系:

​ is - a关系：继承， a student is a person

​ has - a 关系： 关联(聚合、合成)，a student has a computer

​ use - a关系： 依赖，a teacher us a hammer to do sth

list / set / dict / deque / OrderDict–>容器，不要用is - a 关系

重要：

1. namedtuple
2. deque
3. OrderdDict
4. Counter

jupyter里面不小心给不需要的变量赋值了怎么处理：

print=10
%xdel print
#或者
del print

在对数据进行拆解的时候，要拆成年月日