- 学习MLlib: Main Guide的Basic statistics。
学习内容:
Basic statistics的主要内容:
1、Correlation
2、Hypothesis testing——ChiSquareTest
3、Summarizer
Correlation
- Correlation:计算两个序列之间的相关性是统计学中的常见 *** 作。在spark.ml模块中也提供了多个序列间的成对相关性的计算。目前支持计算Pearson相关性和Spearman相关性。
- 假设检验:统计中强有力的工具,去检验结果是否显著。spark.ml中提供了Pearson’s Chi-squared tests去检验独立性。
- Summarizer:可以计算Dataframe的聚合统计量,包括列的最大值,最小值,均值,总计,方差,标准差,非零个数,总次数等。
[1] pyspark帮助文档:https://spark.apache.org/docs/latest/ml-features.html
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)