如何通过storm从hbase中读取数据

使用sqoop工具。

1、在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。

2、例如要将a和b列同时做行键，那么--hbase-row-key

"a,b"就可以了。

sqoop是一款开源的工具，主要用于在hadoop(hive)与传统的数据库(mysql、postgresql)间进行数据的传递，可以将

一个关系型数据库（例如

：

mysql

,oracle

,postgres等）中的数据导进到hadoop的hdfs中，也可以将hdfs的数据导进到关系型数据库中。

对spark、hive、impala、hdfs的常用命令作了如下总结，欢迎大家补充！

1 Spark的使用：

以通过SecureCRT访问IP地址：1010234198 为例进行说明：

先输入：ll //查询集群是否装有spark

>su - mr

>/home/mr/spark/bin/beeline -u "jdbc:hive2:/bigdata198:18000/" -n mr -p ""

>show databases; //显示其中数据库，例如

>use bigmax; //使用数据库bigmax

>show tables; //查询目录中所有的表

>desc formatted TableName; //显示表的详细信息，包括分区、字段、地址等信息

>desc TableName; //显示表中的字段和分区信息

>select count() from TableName; //显示表中数据数量，可以用来判断表是否为空

>drop table TableName; //删除表的信息

>drop bigmax //删除数据库bigmax

>describe database zxvmax //查询数据库zxvmax信息

创建一个表

第一步：

>create external table if not exists lte_Amaze //创建一个叫lte_Amaze的表

( //括号中每一行为表中的各个字段的名称和其所属的数据类型，并用空格隔开

DateTime String,

MilliSec int,

Network int,

eNodeBID int,

CID int,

IMSI String,

DataType int,

AoA int,

ServerRsrp int,

ServerRsrq int,

TA int,

Cqi0 Tinyint,

Cqi1 Tinyint //注意，最后一个字段结束后，没有逗号

)

partitioned by (p_date string, p_hour INT) //以p_date和p_hour作为分区

row format delimited fields terminated by ',' //表中行结构是以逗号作为分隔符，与上边的表中字段以逗号结尾相一致/

stored as textfile; //以文本格式进行保存

第二步：添加分区，指定分区的位置

>alter table lte_Amaze add partition (p_date='2015-01-27',p_hour=0) location'/lte/nds/mr/lte_nds_cdt_uedetail/p_date=2015-01-27/p_hour=0';

//添加lte_Amaze表中分区信息，进行赋值。

//并制定分区对应目录/lte/nds/mr下表lte_nds_cdt_uedetail中对应分区信息

第三步:察看添加的结果

>show partitions lte_Amaze； //显示表的分区信息

2 hdfs使用：

#su - hdfs //切换到hdfs用户下 、

#hadoop fs –ls ///查看进程

# cd /hdfs/bin //进入hdfs安装bin目录

>hadoop fs -ls /umtsd/cdt/ //查询/umtsd/cdt/文件目录

>hadoop fs -mkdir /umtsd/test //在/umtsd目录下创建test目录

>hadoop fs -put /home/data/u1002csv /impala/data/u5002 //将home/data/u1002csv这个文件put到hdfs文件目录上。put到hdfs上的数据文件以逗号“,”分隔符文件（csv）,数据不论类型，直接是数据，没有双引号和单引号

>hadoop fs -rm /umtsd/test/testtxt //删除umtsd/test目录下的testtxt文件

>hadoop fs -cat /umtsd/test/testtxt //查看umtsd/test目录下的testtxt文件内容

3hive *** 作使用：

#su - mr //切换到mr用户下

#hive //进入hive查询 *** 作界面

hive>show tables; //查询当前创建的所有表

hive>show databases; //查询当前创建的数据库

hive>describe table_name; {或者desc table_name}//查看表的字段的定义和分区信息，有明确区分（impala下该命令把分区信息以字段的形式显示出来，不怎么好区分）

hive> show partitions table_name; //查看表对应数据现有的分区信息，impala下没有该命令

hive> quit;//退出hive *** 作界面

hive>desc formatted table_name; 查看表结构，分隔符等信息

hive> alter table ceshi change id id int; 修改表的列数据类型 //将id数据类型修改为int 注意是两个id

hive> SHOW TABLES 's'; 按正条件（正则表达式）显示表，

[mr@aico ~]$ exit; 退出mr用户 *** 作界面，到[root@aico]界面

impala *** 作使用：

#su - mr //切换到mr用户下

#cd impala/bin //进入impala安装bin目录

#/impala/bin> impala-shellsh -i 1010234166/localhost //进入impala查询 *** 作界面

[1010234166:21000] >show databases; //查询当前创建的数据库

[1010234166:21000] >use database_name; //选择使用数据库,默认情况下是使用default数据库

[1010234166:21000] > show tables; //查询当前数据库下创建的所有表

[1010234166:21000] >describe table_name; //查看表的字段的定义,包括分区信息，没有明确区分

[1010234166:21000] > describe formatted table_name; //查看表对应格式化信息，包括分区，所属数据库，创建用户，创建时间等详细信息。

[1010234166:21000] >refresh table_name; //刷新一下，保证元数据是最新的

[1010234166:21000] > alter TABLE U107 ADD PARTITION(reportDate="2013-09-27",rncid=487)LOCATION '/umts/cdt/

MREMITABLE/20130927/rncid=487' //添加分区信息，具体的表和数据的对应关系

[1010234166:21000] > alter TABLE U100 drop PARTITION(reportDate="2013-09-25",rncid=487); //删除现有的分区，数据与表的关联

[1010234166:21000] >quit; //退出impala *** 作界面

[mr@aicod bin]$ impala-shell; 得到welcome impala的信息，进入impala 查询 *** 作界面

[aicod:21000] > 按两次tab键，查看可以用的命令

alter describe help profile shell values

connect drop history quit show version

create exit insert select unset with

desc explain load set use

随着互联网行业的不断发展。很多人想要从事互联网方面的工作，现在非常流行的就是大数据，你了解大数据是做什么的吗？学习大数据需要掌握哪些知识？大数据在未来有很大的发展机会，每个岗位需要具备的能力是不同的。下面昌平电脑培训为大家介绍学习大数据需要掌握的知识。

大数据业务流程有四个基本步骤，即业务理解，数据准备，数据挖掘和分析应用程序。该过程分为三个功能区：大数据系统开发，整个 *** 作系统的构建和维护，数据准备，平台和工具开发。大数据挖掘，负责关键模型应用和研究工作。大数据分析应用程序：两者都是外部需求的访问者也是解决方案的输出，并且昌平IT培训发现在许多情况下还将承担整体协调的作用。

大数据提取转换和加载过程（ETL）是大数据的重要处理环节。提取是从业务数据库中提取数据。转换是根据业务逻辑规则处理数据的过程。负载是将数据加载到数据仓库的过程中。

数据提取工具实现了db到hdfs的数据导入功能，并提供了高效的分布式并行处理能力。北京IT培训发现可以使用数据库分区，字段分区和基于分页的并行批处理将db数据提取到hdfs文件系统中，从而可以有效地按字段解析分区数据。

数据收集可以是历史数据采集或实时数据采集。它可以收集存储在数据库中的结构化数据，或收集非结构化数据，如文本，，图像，音频，视频等。结构变化较大的半结构化数据，北京电脑培训认为可以在数据后直接存储在流量状态分析平台上收集完成。

存放到HDFS 一般都是要分析的数据。分析完成的数据直接存储到MYSQL 或者ORACLE 中。这种处理方式是离线处理。如日志文件存储到hdfs 分析出网站的流量 UV PV 等等。一般都是用pig hive 和mr 等进行分析的。

存放到HBASE 一般都是数据拿过来直接用的。而且他是实时的。也就是说数据就是成型的而且不需要进行分析就能得到结果的数据。

大致就是这么个意思。有点啰嗦了。

hadoop计算需要在hdfs文件系统上进行，文件上传到hdfs上通常有三种方法：a hadoop自带的dfs服务，put；b hadoop的API，Writer对象可以实现这一功能；c 调用OTL可执行程序，数据从数据库直接进入hadoop

hadoop计算需要在hdfs文件系统上进行，因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有三种方法：

a hadoop自带的dfs服务，put；

b hadoop的API，Writer对象可以实现这一功能；

c 调用OTL可执行程序，数据从数据库直接进入hadoop

由于存在ETL层，因此第三种方案不予考虑

将a、b方案进行对比，如下：

1 空间：方案a在hdfs上占用空间同本地，因此假设只上传日志文件，则保存一个月日志文件将消耗掉约10T空间，如果加上这期间的各种维表、事实表，将占用大约25T空间

方案b经测试，压缩比大约为3~4:1，因此假设hdfs空间为100T，原来只能保存约4个月的数据，现在可以保存约1年

2 上传时间：方案a的上传时间经测试，200G数据上传约1小时

方案b的上传时间，程序不做任何优化，大约是以上的4~6倍，但存在一定程度提升速度的余地

3 运算时间：经过对200G数据，大约4亿条记录的测试，如果程序以IO *** 作为主，则压缩数据的计算可以提高大约50%的速度，但如果程序以内存 *** 作为主，则只能提高5%~10%的速度

4 其它：未压缩的数据还有一个好处是可以直接在hdfs上查看原始数据。压缩数据想看原始数据只能用程序把它导到本地，或者利用本地备份数据

压缩格式：按照hadoop api的介绍，压缩格式分两种：BLOCK和RECORD,其中RECORD是只对value进行压缩，一般采用BLOCK进行压缩。

对压缩文件进行计算，需要用SequenceFileInputFormat类来读入压缩文件，以下是计算程序的典型配置代码：

JobConf conf = new JobConf(getConf(), logclass);

confsetJobName(”log”);

confsetOutputKeyClass(Textclass);//set the map output key type

confsetOutputValueClass(Textclass);//set the map output value type

confsetMapperClass(MapClassclass);

//confsetCombinerClass(Reduceclass);//set the combiner class ,if havenot, use Recuce class for default

confsetReducerClass(Reduceclass);

confsetInputFormat(SequenceFileInputFormatclass);//necessary if use compress

接下来的处理与非压缩格式的处理一样

以上就是关于如何通过storm从hbase中读取数据全部的内容，包括:如何通过storm从hbase中读取数据、spark、hive、impala、hdfs的常用命令、学习大数据应该掌握哪些知识等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！