mysql中数据怎么导入hadoop

通过Map/Reduce进行批处理递送到Apache

Hadoop仍然是中枢环节。,但随着要从“超思维速度“分析方面获取竞争优势的压力递增，因此Hadoop(分布式文件系统)自身经历重大的发展。科技的发展允许实时查询，如Apache

Drill,Cloudera

Impala和Stinger

Initiative正脱颖而出，新一代的资源管理Apache

YARN

支持这些。

为了支持这种日渐强调实时性 *** 作,发布一个新MySQL

Applier

for

Hadoop(用于Hadoop的MySQL

Applier)组件。它能够把MySQL中变化的事务复制到Hadoop

/

Hive

/

HDFS。Applier

组件补充现有基于批处理Apache

Sqoop的连接性。

这个组件(MySQL

Applier

for

Hadoop)的复制是通过连接MySQL主服务，一旦二进制日志被提交，就读取二进制日志事务，并且把它们写到HDFS.

这个组件使用libhdfs提供的API，一个C库 *** 作HDFS中的文件。这库由Hadoop版本预编译生成的。

它连接MySQL主服务读二进制日志，然后提取发生在主服务上的行插入事件，解码事件,提取插入到行的每个字段的数据,并使用满意的处理程序得到被要求的格式数据。把它追加到HDFS

中一个文本文件。

数据库被映射为单独的目录,它们的表映射为子目录，保存在数据仓库目录。每个表的数据被写到Hive/

HDFS中文本文件(称为datafile1.txt)。数据可以用逗号格式分隔或其他格式,那可用命令行参数来配置的。

hadoop和mysql严格的来说没有任何关系，区别为hadoop是一种分布式计算框架，用于处理大量的数据，而mysql是数据库用来存放数据的。

但是一般来说，配合hadoop的数据库不是mysql这类传统的关系型数据库，因为当数据量非常大的时候，这些数据库的处理速度会非常慢（就算做了集群也一样慢），取而代之的则是hbase这类非关系型数据库，在大量数据处理过程中，处理速度会比较稳定。

2. hadoop跟mysql的区别是什么？

举个简单的例子。mysql就是一个麻袋，里面装的是数据。而hadoop则是一种很强大的工具，它的作用就是去处理包括这些麻袋在内的大数据。

所以，实际上他俩是不存在直接关系的。

完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到 SQOOP_HOME/lib 下)：

sqoop list-databases --connect jdbc:mysql://192.168.1.109:3306/ --username root --password 19891231

结果如下

即说明sqoop已经可以正常使用了。

下面，要将mysql中的数据导入到hadoop中。

我准备的是一个300万条数据的身份z数据表：

先启动hive（使用命令行：hive 即可启动）

然后使用sqoop导入数据到hive：

sqoop import --connect jdbc:mysql://192.168.1.109:3306/hadoop --username root --password 19891231 --table test_sfz --hive-import

sqoop 会启动job来完成导入工作。

完成导入用了2分20秒，还是不错的。

在hive中可以看到刚刚导入的数据表：

我们来一句sql测试一下数据：

select * from test_sfz where id <10

可以看到，hive完成这个任务用了将近25秒，确实是挺慢的（在mysql中几乎是不费时间），但是要考虑到hive是创建了job在hadoop中跑，时间当然多。

接下来，我们会对这些数据进行复杂查询的测试：

我机子的配置如下：

hadoop 是运行在虚拟机上的伪分布式，虚拟机OS是ubuntu12.04 64位，配置如下：

TEST 1 计算平均年龄

测试数据：300.8 W

1. 计算广东的平均年龄

mysql：select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%'

用时： 0.877s

hive：select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz where address like '广东%'

用时：25.012s

2. 对每个城市的的平均年龄进行从高到低的排序

mysql：select

address, (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge

from test_sfz GROUP BY address order by ageAvge desc

用时：2.949s

hive：select

address, (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as

ageAvge from test_sfz GROUP BY address order by ageAvge desc

用时：51.29s

可以看到，在耗时上面，hive的增长速度较mysql慢。

TEST 2

测试数据：1200W

mysql 引擎： MyISAM（为了加快查询速度）

导入到hive：

1. 计算广东的平均年龄

mysql：select (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%'

用时： 5.642s

hive：select (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as ageAvge from test_sfz2 where address like '广东%'

用时：168.259s

2. 对每个城市的的平均年龄进行从高到低的排序

mysql：select

address, (sum(year(NOW()) - SUBSTRING(borth,1,4))/count(*)) as ageAvge

from test_sfz2 GROUP BY address order by ageAvge desc

用时：11.964s

hive：select

address, (sum(year('2014-10-01') - SUBSTRING(borth,1,4))/count(*)) as

ageAvge from test_sfz2 GROUP BY address order by ageAvge desc

用时：311.714s

---