hbase buckload写入

hbase buckload写入

source bigdata_env
kinit hbase
hdfs DFS -mkdir /tmp/hbase/datadirimport
hdfs DFS -put /opt/bigdata/file400g.txt /tmp/hbase/datadirimport
hbase shell
create ‘importtable’ ,{name => ‘f1’,compression=>‘snappy’}
touch hbase/hbase/conf/import.xml
hbase hadoop.hbase.tools.buckload.import data -d import.skip.bad.lines=true -d import.separator=’,’ -dimport.bad.lines.output=/tmp/badline -dimport.hfile.output=/tmp/hfile hbase/hbase/import.xml importtable /tmp/hbase/datadirimport
hbase org.Apache.hadoop.hbase.map reduce.loadincrementalhfiles /tmp/hfile importtable
hbase com.huawei.hadoop.hbase.tools.buckload.rowcounter ‘importtable’