1
/3
在你使用 WikiTaxi 之前,必须先下载它和维基百科的离线数据库,我们提供了简化版的英文版、完整英文版和中文版的维基数据库供大家下载,下载链接位于文章结尾处,请根据自己的需求选择下载。不过数据比较大,并且服务器位于国外,速度有点不尽人意,只能有点耐心吧。
2
/3
导入维基数据库到 WikiTaxi
因为维基百科提供的离线数据库(.xml.bz2)文件格式 WikiText 并不能直接使用,所以我们需要先将数据库转换成 WikiTaxi 的 .taxi 格式。下载解压 WikiTaxi 之后你可以看到一个 WikiTaxi_Importer.exe 的文件,双击运行它。简单来说,它就是一个转换数据库格式的工具。使用方法和简单,第一项选择 .xml.bz2 文件,第二项选择要保存转换好的.taxi文件,然后按 Import Now 即可开始。中间那个横条是用来调整分配多少内存给该工具来进行转换工作,当然能用的内存越多,转换速度也就也快了。转换好之后,如没特别需要,之前那个.xml.bz2的文件你可以删除掉了。
3
/3
运行 WikiTaxi
如果你已经制作好.taxi数据库之后,那么双击运行 wikitaxi.exe ,在菜单里选择 “Options”->“Open *.taxi Database”来打开刚才那个制作好的.taxi数据库文件即可。然后,就没然后了,你现在已经拥有一个离线的维基百科数据库了!想查询什么直接搜索就行了。
使用方法
1
/2
WikiTaxi首先需要Wikipedia的数据文件,比如在这里可以下载英文版本的备份导出文件:
http://dumps.wikimedia.org/enwiki/
一般选择pages-articles.xml.bz2,20100916的备份导出文件已经达到了6.1G。
下载之后,运行WikiTaxi_Importer.exe,将该数据文件转换提取成自己的数据库格式文件.taxi,通常设置更多的内存,会提高转换提取的速度,这个过程可能会有几十分钟以上。WikiTaxi转换提取后的数据库约为10.7G。
2
/2
转换提取完成后,运行WikiTaxi.exe, 打开数据库文件,即可开始离线浏览、搜索Wikipedia了,默认是随机挑选的页面。在数据库转换提取正确的情况下,就可以删除Wikipedia备份导出文件了。如果希望运行时自动加载数据库文件,可以创建使用命令行参数方式,
这区别可大了,不是一个概念。mysql是传统的关系型数据库。hdfs是nosql hadoop的存储方式。hdfs是分布式的自带高可用存储,文件格式跟mysql的存储引擎不一样。大数据离线存储,当然是hdfs更合适欢迎分享,转载请注明来源:内存溢出
评论列表(0条)