1、准备Spark程序目录结构。
2、编辑build.sbt配置文件添加依赖。
3、创建WriteToCk.scala数据写入程序文件。
4、编译打包。
5、运行。
参数说明:your-user-name:目标ClickHouse集群中创建的数据库账号名。
your-pasword:数据库账号名对应的密码。
your-url:目标ClickHouse集群地址毕漏。
/your/path/to/test/data/a.txt:要导入的数据文件的路径,包含文件地址和文件名。说明文件中的数据及schema,需要与ClickHouse中目标表的结构保持一致。
your-table-name:ClickHouse集群中的目标表名称。手衫烂
scala编译后的文丛敬件是以.class结尾。开头包含类似package声明的scala代码直接在scala命令行用:load指令加载会出错。如果在scala命令行想调用自己在ide写好的类时(大多数情况下你的类会用到外部包,比如spark之类的),有三种方法:
将你在ide写好的project在scala下进行编译,之后通过Main调用。
打包整个项目为jar,通过scala -classpath加载后,在scala中import进行调用。
去掉package声明,并且将依赖包通过scala -classpath加载后,再使用咐李:load 加载你的衡郑迟内容。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)