Kylin:简介

Kylin:简介,第1张

具体参见Kylin官网: http://kylin.apache.org/cn

简介

Kylin是可以快速查询Hive等数据仓库的大数据工具

使用 预加载 多维立方体(Cube)预计算技术 两大策略

相对于之前的分钟乃至小时级别的查询速度,Kylin可以将某些场景下的大数据 SQL 查询速度提升到亚秒级别

Hive/Kafka为数据源,里面存放真实数据

Kylin将数据抽象,构建Cube并存放在HBase中

Kylin提供近似SQL和HQL的形式从HBase中读取数据

对外提供RestApi和JDBC/ODBC等接口方便 *** 作

Kylin的预计算思路

Kylin 对于解决的问题有以下假设:

大数据查询要的一般是统计结果,是多条记录经过聚合函数计算后的统计值

原始的记录则不是必需的,或者访问频率和概率都极低

聚合是按维度进行的,有意义的维度聚合组合也是相对有限的,一般不会随着数据的膨胀而膨胀

基于以上两点,可以得到一个新的思路—预计算,应尽量多地预先计算聚合结果,在查询时应该尽量利用预计算的结果得出查询结果,从而避免直接扫描可能无限增大的原始记录。

关键词释义

数据仓库 :存放的数据包含时间信息,且不常被修改

纬度 :审视数据的角度,通常是数据记录的一个属性(一个字段)

度量 :基于数据计算出来的考量值(某个字段的某个值)

事实表 :存储有实时记录的表(原生数据,比如日志)

维度表 :保存了纬度值的部分事实表(若事实表太大,只取出某相关部分)

Kylin框架

Hive:基于Hadoop的数据仓库工具,可以分析大数据

MySQL:其中存储的数据会经常变动,不应过于冗余

安装步骤:

1、下载MySQL:

进入 http://dev.mysql.com/downloads/mysql/

选择如图

下拉找到 Ubuntu Linux 15.04 (x86, 64-bit), DEB Bundle MySQL Server(注意区分32位/64位)

下载

2、解压

3、如果你的系统里没有 libaio ,则还需要安装 libaio1

shell>sudo apt-get install libaio1

4、由于使用的是用于15.04版本的MySQL,所以可能会跟Ubuntu 15.10有些不同之处。我安装时还需要依赖 libmecab2 ,故需要在 http://packages.ubuntu.com/vivid/libmecab2 下载合适的版本

5、安装各个.deb文件。

首先安装 mysql-common_MVER-DVER_CPU.deb

shell>sudo dpkg -i mysql-common_XXX-XXX_XXX.deb

安装第一个包,并预配置你的服务器

shell>dpkg-preconfigure mysql-community-server_XXX-XXX_XXX.deb

此时会提示输入MySQL数据库的 root 账户的密码

安装剩余的包。此处可能会出现依赖错误的问题,没关系,如果某个包安装错误,会提示需要依赖哪些包(终端下),只需要安装相应的包即可。若用图形用户界面

安装,不会提示需要依赖哪些包,这时可以先跳过不能正确安装的包,将那些可以安装的包装好,再去装之前不可以安装的包。最后确认一遍所有的包都安装了就可

以。这时,你的MySQL就装好了。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7357787.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-04
下一篇 2023-04-04

发表评论

登录后才能评论

评论列表(0条)

保存