实验1 Spark编程实验

1．pyspark编程

请根据提供的文件chapter4-data1.txt，该数据集包含了某系的成绩，数据格式如下所示：

Tom,DataBase,80 Tom,Algorithm,50 Tom,DataStructure,60 Jim,DataBase,90 Jim,Algorithm,60 Jim,DataStructure,80 ……

请根据给定的实验数据，在pyspark中通过编程来计算以下内容：

（1）该总共有多少学生；

（2）该系共开设了多少门课程；

（3）Tom同学的总成绩平均分是多少；

（4）求每名同学的选修的课程门数；

（5）该系DataBase课程共有多少人选修；

（6）各门课程的平均分是多少；

（7）使用计算共有多少人共同选了DataBase和Python。

思路：分别选出DataBase和Python，使用reduceByKey将两者合并，再过滤出DataBasePython