intellij idea 怎么编写python程序打包发送到spark

，客户端和虚拟集群中hadoop、spark、scala的安装目录是一致的，旦芹这样开发的spark应用程序的时候不需要打包spark开发包和scala的库文件，减少不拦码必要的网络IO和磁盘IO。当然也可以不一样，不过在使用部署工具spark-submit的时候需要参数指明classpath。

1：IDEA的模衡毕安装

官网jetbrains.com下载IntelliJ IDEA，有Community Editions 和&Ultimate Editions，前者免费，用户可以选择合适的版本使用。

根据安装指导安装IDEA后，需要安装scala插件，有两种途径可以安装scala插件：

启动IDEA ->Welcome to IntelliJ IDEA ->Configure ->Plugins ->Install JetBrains plugin... ->找到scala后安装。

启动IDEA ->Welcome to IntelliJ IDEA ->Open Project ->File ->Settings ->plugins ->Install JetBrains plugin... ->找到scala后安装。

大数据技术体系庞大，包括的知识较多

1、学习大数据首先要学习Java基础

Java是大数据学习需要的编程语言局消基础，因为大数据的开发基于常用的高级语言。而且不论是学hadoop，

2、学习大数据必须学习大数据核心知识

Hadoop生态系统HDFS技术HBASE技术Sqoop使用流程数据仓库工具HIVE大数据离线分析Spark、Python语言数据实时分析Storm消息订阅分发系统Kafka等。

3、学习大数据需要具备的能力

数学知识，数学知识是数据分析师的基础知识。对于数据分析师，了解一些描述统计相关的内容，需要有一定公式计算能力，了解常用统计模正瞎型算法。而对于数据挖掘工程师来说，各类算法也需要熟练使用，对数学的要求是最高的。

4、学习大数据可以应用的领域

大数据技术可以应用在各个领域，比如公安大数据、交通大数据、医疗大数据、就业大数据、环境大数据、图像大数据、视频大数举腊空据等等，应用范围非常广泛。

---