步骤如下:
1、QQ邮箱设置中打开“IMAP/SMTP服务”。
2、生成授权码,进入spark客户端选择“添加账户”---“其他”---输入邮箱账户名及密码(密码填写刚才生成的授权码)-“显示高级设置”。
3、设置imap。
4、设置STMP 端口改为“465”安全改成“SSL”。
确保你的QQ邮箱设置已经打开“IMAP/SMTP服务”
2.生成授权码
3.进入spark客户端选择“添加账户”---“其他”---输入邮箱账户名及密码(注意此时密码应该填写刚才生成的授权码!!)---“显示高级设置”
4.严格进行以下设置
首先设置imap 如图:
<迹酣管叫攮既归习害卢p>再设置STMP 端口改为“465”安全改为“SSL” 如图:
5.登陆!
前面已经有篇文章介绍如何编译包含hive的spark-assembly.jar了,不清楚的可以翻看一下前面的文章。cloudera manager装好的spark,直接执行spark-shell进入命令行后,写入如下语句:
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
你会发现没法执行通过,因为cm装的原生的spark是不支持spark hql的,我们需要手动进行一些调整:
第一步,将编译好的包含hive的JAR包上传到hdfs上配置的默认的spark的sharelib目录:/user/spark/share/lib
第二步:在你要运行spark-shell脚本的节点上的/opt/cloudera/parcels/CDH-
5.3.0-1.cdh5.3.0.p0.30/lib/spark/lib/目录下面,下载这个jar到这个目录:hadoop fs -get
hdfs://n1:8020/user/spark/share/lib/spark-assembly-with-hive-maven.jar(具
体路径替换成你自己的)。然后这个目录下面原来会有个软链接spark-assembly.jar指向的是spark-assembly-1.2.0-
cdh5.3.0-hadoop2.5.0-cdh5.3.0.jar,我们把这个软链接删除掉重新创建一个同名的软链接:ln -s
spark-assembly-with-hive-maven.jar
spark-assembly.jar,指向我们刚下载下来的那个JAR包,这个JAR包会在启动spark-shell脚本时装载到driver
program的classpath中去的,sparkContext也是在driver中创建出来的,所以需要将我们编译的JAR包替换掉原来的
spark-assembly.jar包,这样在启动spark-shell的时候,包含hive的spark-assembly就被装载到
classpath中去了。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)