scala怎么读取hdfs中的文件

scala怎么读取hdfs中的文件

前面我们介绍了很多MSI文件的内容，其实MSI并不神秘、复杂，我们自己都能制作，并且制作MSI文件的工具已经在Windows的安装盘上了。

首先，找到Windows2000的安装光盘，双击下边的这个位置的文件:valueadd\3rdparty\Mgmt\Winstleadmle.msi，

很快软件就自动安装到了电脑中。在开始菜单的所有程序里边就多了“VERITAS software”组，点击运行里边的“VERITAS discover”就可以开始制作MSI文件了。

使用Spark/Scala读取Hbase的数据 必须使用高亮参数启动Spark-shell,否则当你遍历RDD时会出现如下的Exception java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytesWritable spark-shell--conf spark.serializer=org.apache.spark.serializer.KryoSerializer 以下代码,经过MaprDB实测通过 import org.apache.spark._ import org.apache.spark.rdd.NewHadoopRDD import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor} import org.apache.hadoop.hbase.client.HBaseAdmin import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.hadoop.fs.Pathimport org.apache.hadoop.hbase.HColumnDescriptor import org.apache.hadoop.hbase.util.Bytes import org如何使用Spark/Scala读取Hbase的数据

（1）一个从文件创建的Scala对象，或（2）一个并行切片（分布在各个节点之间），或（3）从其他RDD转换得来，或（4）改变已有RDD的持久性，如请求将已有RDD缓存在内存中。Spark应用称为driver，实现单个节点或一组节点上的 *** 作。

---