spark运行在windows环境的idea遇到的问题记录

spark运行在windows环境的idea遇到的问题记录

关于在windows10环境开发spark时，遇到的一些环境问题，作一下记录

这次只了两点记录，如下：

１、Couldn't find pwsh.exe or powershell.exe

２、Could not locate executable nullbinwinutils.exe in the Hadoop binaries

前提：由于机器使用已久，申请了一台新的笔记本 ，各种环境都需要重新安装，确实是头大啊，需要准备各种安装软件

一、问题1的解决方案

1、新本到手后，下载了新版idea工具，进行安装

2、Java和Scala环境安装，即配置

3、此时将原项目导入去，由于是scala项目，选择的build工具为sbt，在进行init时一直提示错误

Couldn't find pwsh.exe or powershell.exe on path or in default system 

由于之前安装一次，踩过相关的坑，直接下载的“PowerShell-7.0.7-win-x64.msi”，进行安装即可

下载地址：Installing PowerShell on Windows - PowerShell | Microsoft Docs

到目前为止，项目可以正常编译了打包了

二、问题2解决方法

 上面的环境已经准备就位，开始测试spark程序代码了，不过直接抛出异常，如下

这个主要是由于hadoop环境没有配置的原因，通过配置系统的环境变量，进行解决，由于windows和linux环境不同的原因，需要在windows的环境下，使用winutils.exe

通过配置hadoop_home环境，在path环境中将%hadoop_home%bin配置好

winutils.exe放在%hadoop_home%bin即可

记录一下，否则每次换了环境都要折腾一番，后面有其它问题再作补充