西农大数据实验6、线性回归

西农大数据实验6、线性回归

做这个实验按照文档步骤复制粘贴截图即可。启动后进入master 执行 bash /start-service.sh 和 start-dfs.sh就可开始实验，但是会出现一些问题，下面是解决方案：

问题1:进入pyspark后 有java execution failed类似报错

exit() 退出重新进入 pyspark
或者不管报错，只要执行python语句有结果显示就忽略报错

问题2：hadoop fs -put xxx.xxx /user/root/ 上传文件报错

hdfs没有启动，进入master 使用命令 start-dfs.sh

问题3:导入numpy包出错

安装命令 pip3 install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
File “/usr/local/bin/pip”, line 7, in from pip._internal.cli.main i
解决安装numpy提示版本不适合，系统的环境python版本是python3.5
使用下列命令即可解决（在root@cg 下运行）
pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
wget https://bootstrap.pypa.io/pip/3.5/get-pip.py --no-check-certificate
python3 get-pip.py

问题4:问题：导入matplotlib包出错

安装命令 pip3 install matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple
提示缺少 python-tk 、tkinter，使用下列命令
pip3 install tk -i https://pypi.tuna.tsinghua.edu.cn/simple
导入matplotlib仍然有错，使用命令
sudo apt-get install python3-tk

成功安装所有需要的依赖包：