Hadoop-Scala-Spark环境安装

     持续更新 请关注： https://zorkelvll.cn/blogs/zorkelvll/articles/2018/11/02/1541172452468

  本文主要是介绍大数据基础设施软件Hadoop-Scala-Spark的安装过程，以macOS、linux等系统环境为例进行实践！

一、背景

二、实践-环境安装（macOS）

后添加

（4）配置core-site.xml【hdfs地址和端口】：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/core-site.xml => 添加配置

并且建立文件夹 mkdir /usr/local/Cellar/hadoop/hdfs &mkdir /usr/local/Cellar/hadoop/hdfs/tmp

先备份：cp /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml mapred-site-bak.xml

再编辑：vim /usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop/mapred-site.xml => 添加配置

(7)格式化hdfs文件系统格式：hdfs namenode -format

(8)启动及关闭hadoop服务：

/usr/local/Cellar/hadoop/3.0.0/libexec/start-dfs.sh => 守护进程：namenodes、datanodes、secondary namenodes，浏览器中访问 http://localhost:9870 ,注意端口号是9870而不是50070

/usr/local/Cellar/hadoop/3.0.0/libexec/start-yarn.sh => yarn服务进程：resourcemanager、nodemanagers，浏览器中访问 http://localhost:8088 和 http://localhost:8042

/usr/local/Cellar/hadoop/3.0.0/libexec/stop-yarn.sh

/usr/local/Cellar/hadoop/3.0.0/libexec/stop-dfs.sh

注意：brew方式安装的hadoop3.0.0，需要配置的hadoop路径是libexec下的，否则start-dfs.sh命令会报错“error:cannot execute hdfs-config”

以上是hadoop-scala-spark在mac下的安装过程，为昨天在mac下首次实践，一次性成功 =>希望能够对各位同学有所帮助，和得到各位同学的后续关注，如果疑问或者遇到的坑，欢迎在文章下面留言！！

spark开启之路 ： https://spark.apache.org/docs/latest/quick-start.html

（1）安装scala

在官网上下载scala，本人下载scala-10.04http://www.scala-lang.org/download/all.html

其中windows下有两个版本。msi和exe，具体区别可百度查看。这边随便找了一个说明http://zhidao.baidu.com/link?url=7BRlyeFUYodktHwGCjLUmOBFtqrMX1x0D3y3VA_BvSVhRkWXFR3dMSmbw3JIkxUF7IljpW_YjGzeQ4sKejKt39zb-tnYDzx5cxLI09Ud8EK

建议下载msi，比较方便。

下载之后直接安装即可。

记住安装目录，比如本人安装在 D:\proSoftware\scala

修改环境变量

不同版本的windows界面不尽相同，进入环境变量之后，修改系统变量中的path变量，在最后加入

D:\proSoftware\scala\bin 注意，如果加入之前最后没有分号，记得手动加上分号，同时记得在scala目录之后加上\bin

修改完环境变量之后，运行cmd 输入 scala -version 出现版本信息表示安装成功。

（2）安装eclipse的scala插件

在官网上下载IFE http://scala-ide.org/download/sdk.html

下载完直接解压就可以运行，打开解压好的eclipse

点击file->new ->scala project

填写project name

右击文件夹，new-->scala object

填写名称 hello

然后增加代码

def main(args :Array[String]){

println("Hello world!")

}

选中Hello.scala，右击run as ->scala application

控制台输出结果

成功。

下载与配置IDEA

里面有Ultimate（最终版）和Community（社区版），对于普通的开发者来说，社区版就够了，然后因为我本来配置了JDK所以就下载无JDK版本的了。 

下载好了找个合适的地方解压，之后要配置一下

sudo gedit /etc/profile1

之后添加

export IDEA_JDK=/usr/java/jdk1.8.0_1211

否则IDEA找不到JDK可别怪我 

这样你就能成功打开IDEA了

//进入idea安装目录下运行fish@fish-computer:~/workspace/idea/bin$ ./idea.sh12

你的第一个scala程序

首先要安装scala组件，File->Setting->Plugins->scala 然后安装就可以了（就是那里Uninstall，没安装的话应该是Install） 

然后new 一个project，选择sbt 

进去之后命名什么的，然后第一次进底下会配置好多乱七八糟的东西，你需要等一会（我等了五六分钟吧） 

然后在这个目录下右键new一个scala class 

然后ctrl+j快捷创建main函数和prinln

object HelloWorld {  def main(args: Array[String]): Unit = {

   println("hello world")

 }

}123456

然后直接run起来就可以啦 

阅读全文

---