spark查看df中分区号与对应分区的数据量

spark查看df中分区号与对应分区的数据量

 frame.rdd
      .mapPartitionsWithIndex{case (i,rows) => Iterator((i,rows.size))}
      .toDF("partition_number","number_of_records")
      .show()

查询结果如下