一.读取mysql数据
1.创建一个mysql数据库
user_test表结构如下:
1 create table user_test (2 id int(11) default null comment "id",3 name varchar(64) default null comment "用户名",4 password varchar(64) default null comment "密码",5 age int(11) default null comment "年龄"6 )engine=InnoDB default charset=utf-8
2.插入数据
1 insert into user_test values(12, 'cassie', '123456', 25)2 insert into user_test values(11, 'zhangs', '1234562', 26)3 insert into user_test values(23, 'zhangs', '2321312', 27)4 insert into user_test values(22, 'tom', 'asdfg', 28)
3.创建maven工程,命名为Test,添加java类SparkMysql
spark将mysql表中按照字段的优先级关联,可以尝试下面的 *** 作。(sc)sqlContext:org.apache.spark.sql.SQLContext=org.apache.spark.sql.SQLContext@6cd1ee scala>val url="jdbc:mysql://slave02:3306/testdb?use..
在 *** 作数据库时会将两个或多个数据表关联起来通过一些条件筛选数据,在关联表时我们要遵循原则,这样会在效率上快很多。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)