GBase 8a 与Hadoop（HDFS）数据交换方案

GBase 8a 与Hadoop（HDFS）数据交换方案

Gbase 8a 支持试用Load SQl的方式直接从Hadoop读取数据文件后，将数据加载到数据库中，主要说明如下：

1)       在Gbase 8a上，使用Load SQL语句方式，进行数据加载，语句举例：

LOAD DATA INFILE  'hdp://hadoop@172.16.4.55:50070/user/hdfs/export/t1.snappy' INTO TABLE test.t1 FIELDS terminated by '|';

2)       Gbase 8a 管理节点（gc）将通过Name Node 获取数据文件的具体存储信息，包括存储的文件大小，数据分布的DataNode信息等：

3)       管理节点将获取后的信息，加入到执行计划中，下发到Gbase 各个计算节点；

4)       计算节点根据执行计划，访问hadoop的Data node，读取数据加载入库；

5)       支持NameNode 高可用；

6)       每次加载任务，与NameNode进行一次交互，加载过程中不再与NameNode产生交互；

7)       Gbase 8a的加载会充分利用CPU、IO、网络等资源，因此加载任务的并发不需要太多，一般生产系统上加载任务的并发也不会超过10或20个，而加载任务过程中（每个任务会持续一段时间，视加载的文件大小而定），只是在最初访问一次Namenode，中间过程与Namenode不产生交互，因此对于Name Node 的影响几乎没有影响。

8)       Gbase支持hadoop协议包含webhdfs、hdfs3；支持的文件格式包含txt、csv、gzip、snappy、lzo、avro、json。

9)       支持Kerberos认证。