hdfs在hadoop里如何建立索引呢?

hdfs在hadoop里如何建立索引呢?,第1张

楼主说的是Hive,不是HBase。从Oracle里面头导出数据为平面文件后,导入HDFS里面。Hive里面的表结构是要自己手工定的。

建表可以自己写个小程序实现,根据oracle字典表和hive的建表规则,每个地方使用hive的情景不同,建表也不同。数据装载可以用sqoop来实现。

你可以轮咐安装下SQOOP,注意这个跟HADOOP的版本要对应的,不然会出现一些问题。以下是我项目用到的例子,不过我有个更高级的方法,只需配到表就行了,就是写个JAVA程序,然后自动生成对应戚掘的高桐核脚本,再执行就可以了。转载,仅供参考。

非常感觉您的回答。solr原理只是说了可以通过MR构建索引,但是如何通过MR批量构建索引(有简单的可以运行的例子吗?)我还哪桥春是不太清楚,新手刚接触这方面,多多包涵!是消码只要在solr上配置hdfs路径就可以自己构建索引还是要自己写代码提交MR任务?直李耐接通过MR从hdfs上读取数据构建索引和在hbase构建索引哪种方式好些?

A1.该索引叫FsImage, 但没有对外提供api, 参考神猛 附录的链接1

整个文件系统的名字空间,包括数据块到文件的映射、文件的属性等,都存储在一个称为FsImage的文件中,这个文件也是放在Namenode所在的本地文件系统上。

A2. FS Shell, 详细请参考链接2

1)hadoop fs -ls

功能跟shell 的 ls 命令相同念瞎

2)hadoop fs -lsr

ls命令的递归版本。类似于Unix中仔瞎空的ls -R。

如果要实现复杂的查找功能,可以考虑用下述方式

hadoop fs -lsr / | awk/sed/grep .....


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12116807.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存