csv数据导入Hadoop中的HDFS

作者 : lly

本文介绍通过使用Hadoop命令的方式将csv数据导入进入HDFS中

具体的环境准备及搭建流程可参考以下文章，本文不再做赘述

基础环境准备：https://blog.csdn.net/supermapsupport/article/details/91443032

Hadoop集群搭建：https://blog.csdn.net/supermapsupport/article/details/91972499

未注册到 iServer的 csv 数据进行分布式分析服务，则需确保在 csv 存放目录下有与其对应的 .meta 文件，该.meta文件包含 csv 数据文件的元信息，所以我们将两个数据一起拷入。以示范数据 newyork_taxi_2013-01_14k.csv 为例，.meta 文件内容为：

 "FieldInfos": [

      {

          "name": "col0",

          "type": "WTEXT"

      } ,

      {

         "name": "col1",

          "type": "WTEXT"

      } ,

      {

          "name": "col2",

          "type": "WTEXT"

      } ,

      {

          "name": "col3",

          "type": "INT32"

      } ,

      {

          "name": "col4",

          "type": "WTEXT"

      } ,

      {

          "name": "col5",

          "type": "WTEXT"

      } ,

      {

          "name": "col6",

          "type": "WTEXT"

      } ,

      {

          "name": "col7",

          "type": "INT32"

      } ,

      {

          "name": "col8",

          "type": "INT32"

      } ,

      {

          "name": "col9",

          "type": "DOUBLE"

      } ,

      {

          "name": "X",

          "type": "DOUBLE"

      } ,

      {

          "name": "Y",

          "type": "DOUBLE"

      } ,

      {

          "name": "col12",

          "type": "DOUBLE"

      } ,

      {

          "name": "col13",

          "type": "DOUBLE"

      }

  ] ,

  "GeometryType": "POINT",

  "HasHeader": false,

  "StorageType": "XYColumn"

}

1.首先将数据放到opt目录下

2.将示例数据导入到 hdfs 中，启动 hadoop，在 hadoop-2.7.7/bin 中执行

. /hadoop fs -mkdir /input        #创建/input 目录

. /hdfs dfs -put /opt / newyork_taxi_2013-01_14k.csv /input/ #将 taxi 数据导入到/input 目录中

. /hdfs dfs -put /opt / newyork_taxi_2013-01_14k.meta /input/

3.导入完成后，可以使用如下命令查看

. /hadoop fs -ls /input

4.输出结果如下

java 怎么读取hdfs上csv文件的某一列

import java.io.IOException

import java.nio.charset.Charset

import java.util.ArrayList

import com.csvreader.CsvReader

import com.csvreader.CsvWriter

/**

* 读取CSV文件

* 所谓"CSV",是Comma Separated Value（逗号分隔值）的英文缩写，通常都是纯文本文件。

* 可以看成数据库程序与电子表格之间一种中间通信文件，数据库可以导出。csv格式，excel也可以导入并打开。csv文件，例子如下

* sj_mino1001.jpg,715282,4FB55FE8,

* sj_mino1002.jpg,471289,93203C5C,

* sj_mino1003.jpg,451929,C4E80467,

*

*/

public class CSVDeal{

public static void main（String[] args） {

try {

String[] stringList

String csvFilePath = "C:\\Users\\Administrator\\Desktop\\20140227135936.csv"

String sourceFileString= "C:\\Users\\Administrator\\Desktop\\test.csv"

CsvReader reader = new CsvReader（csvFilePath）； //默认是逗号分隔符，UTF-8编码

CsvWriter writer = new CsvWriter（sourceFileString）；

/*

* readRecord（）判断是否还有记录，getValues（）读取当前记录，然后指针下移

*/

reader.readRecord（）；

writer.writeRecord（reader.getValues（））； //读取表头

/*

* 逐行读取，以免文件太大

* 处理表头后面的数据，这里是在第12列数据统一加前缀"V"

*/

while（reader.readRecord（））{

stringList = reader.getValues（）；

stringList[11] = 'V' + stringList[11]

writer.writeRecord（stringList）；

}

reader.close（）；

writer.close（）；

}catch（Exception ex）{

System.out.println（ex）；

}

}

}

对spark、hive、impala、hdfs的常用命令作了如下总结，欢迎大家补充！

1. Spark的使用：

以通过SecureCRT访问IP地址：10.10.234.198 为例进行说明：

先输入：ll //查询集群是否装有spark

>su - mr

>/home/mr/spark/bin/beeline -u "jdbc:hive2:/bigdata198:18000/" -n mr -p ""

&gt.show databases//显示其中数据库，例如

>use bigmax//使用数据库bigmax

>show tables//查询目录中所有的表

>desc formatted TableName//显示表的详细信息，包括分区、字段、地址等信息

>desc TableName//显示表中的字段和分区信息

>select count(*) from TableName//显示表中数据数量，可以用来判断表是否为空

>drop table TableName//删除表的信息

>drop bigmax //删除数据库bigmax

>describe database zxvmax //查询数据库zxvmax信息

创建一个表

第一步：

>create external table if not exists lte_Amaze //创建一个叫lte_Amaze的表

( //括号中每一行为表中的各个字段的名称和其所属的数据类型，并用空格隔开

DateTime String,

MilliSec int,

Network int,

eNodeBID int,

CID int,

IMSI String,

DataType int,

AoA int,

ServerRsrp int,

ServerRsrq int,

TA int,

Cqi0 Tinyint,

Cqi1 Tinyint //注意，最后一个字段结束后，没有逗号

)

partitioned by (p_date string, p_hour INT) //以p_date和p_hour作为分区

row format delimited fields terminated by ',' /*/*表中行结构是以逗号作为分隔符，与上边的表中字段以逗号结尾相一致*/

stored as textfile//以文本格式进行保存

第二步：添加分区，指定分区的位置

>alter table lte_Amaze add partition (p_date='2015-01-27',p_hour=0) location'/lte/nds/mr/lte_nds_cdt_uedetail/p_date=2015-01-27/p_hour=0'

//添加lte_Amaze表中分区信息，进行赋值。

//并制定分区对应目录/lte/nds/mr下表lte_nds_cdt_uedetail中对应分区信息

第三步:察看添加的结果

>show partitions lte_Amaze； //显示表的分区信息

2. hdfs使用：

#su - hdfs //切换到hdfs用户下 、

#hadoop fs –ls ///查看进程

# cd /hdfs/bin //进入hdfs安装bin目录

>hadoop fs -ls /umtsd/cdt/ //查询/umtsd/cdt/文件目录

>hadoop fs -mkdir /umtsd/test //在/umtsd目录下创建test目录

>hadoop fs -put /home/data/u1002.csv /impala/data/u5002 //将home/data/u1002.csv这个文件put到hdfs文件目录上。put到hdfs上的数据文件以逗号“,”分隔符文件（csv）,数据不论类型，直接是数据，没有双引号和单引号

>hadoop fs -rm /umtsd/test/test.txt //删除umtsd/test目录下的test.txt文件

>hadoop fs -cat /umtsd/test/test.txt //查看umtsd/test目录下的test.txt文件内容

3hive *** 作使用：

#su - mr //切换到mr用户下

#hive //进入hive查询 *** 作界面

hive>show tables//查询当前创建的所有表

hive>show databases//查询当前创建的数据库

hive>describe table_name{或者desc table_name}//查看表的字段的定义和分区信息，有明确区分（impala下该命令把分区信息以字段的形式显示出来，不怎么好区分）

hive>show partitions table_name//查看表对应数据现有的分区信息，impala下没有该命令

hive>quit//退出hive *** 作界面

hive>desc formatted table_name查看表结构，分隔符等信息

hive>alter table ceshi change id id int修改表的列数据类型 //将id数据类型修改为int 注意是两个id

hive>SHOW TABLES '.*s'按正条件（正则表达式）显示表，

[mr@aico ~]$ exit退出mr用户 *** 作界面，到[root@aico]界面

impala *** 作使用：

#su - mr //切换到mr用户下

#cd impala/bin //进入impala安装bin目录

#/impala/bin>impala-shell.sh -i 10.10.234.166/localhost //进入impala查询 *** 作界面

[10.10.234.166:21000] >show databases//查询当前创建的数据库

[10.10.234.166:21000] >use database_name//选择使用数据库,默认情况下是使用default数据库

[10.10.234.166:21000] >show tables//查询当前数据库下创建的所有表

[10.10.234.166:21000] >describe table_name//查看表的字段的定义,包括分区信息，没有明确区分

[10.10.234.166:21000] >describe formatted table_name//查看表对应格式化信息，包括分区，所属数据库，创建用户，创建时间等详细信息。

[10.10.234.166:21000] >refresh table_name//刷新一下，保证元数据是最新的

[10.10.234.166:21000] >alter TABLE U107 ADD PARTITION(reportDate="2013-09-27",rncid=487)LOCATION '/umts/cdt/

MREMITABLE/20130927/rncid=487' //添加分区信息，具体的表和数据的对应关系

[10.10.234.166:21000] >alter TABLE U100 drop PARTITION(reportDate="2013-09-25",rncid=487)//删除现有的分区，数据与表的关联

[10.10.234.166:21000] >quit//退出impala *** 作界面

[mr@aicod bin]$ impala-shell得到welcome impala的信息，进入impala 查询 *** 作界面

[aicod:21000] >按两次tab键，查看可以用的命令

alter describe help profile shell values

connect drop history quit show version

create exit insert select unset with

desc explain load set use

---