Spark实例-spark读取外部配置文件之--files

在运行spark程序的时，有时需要读取外部配置参数，比如mysql的host参数、端口号、es主机ip、es端口号等。通过外部文件配置参数也方便程序迁移。下面就来看看如何来实现。

1、首先我们需要一个配置文件：

config.properties

2、上传配置文件到某个节点：

4、通过 Maven打包程序：test_CDH.jar

5、上传 test_CDH.jar 到集群

6、执行 submit 命令

spark2-submit --master yarn --deploy-mode cluster --files config.properties --jars libs/hbase-client-1.2.0.jar,libs/hbase-common-1.2.0.jar,libs/hbase-server-1.2.0.jar,libs/mysql-connector-java-8.0.15.jar --driver-class-path libs/mysql-connector-java-8.0.15.jar --conf spark.executor.userClassPathFirst=true --conf spark.driver.userClassPathFirst=true --class test_CDH.Main libs/test_CDH.jar $1

--files 参数指定我们需要加载的外部配置文件

1、需求分析

对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。

要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。

2、原始数据

1）math：

张三,88

李四,99

王五,66

赵六,77

2）china：

张三,78

李四,89

王五,96

赵六,67

3）english：

张三,80

李四,82

王五,84

赵六,86

样本输出：

张三,82

李四,90

王五,82

赵六,76

输出结果

fm:90.00

fm:82.00

fm:82.00

fm:76.67

李四 90.00

王五 82.00

张三 82.00

赵六 76.67

浮点型变量为 12.46, 整型变量为 2000,字符串为 资源学习!()

---