有几点关于hadoop的hive数据仓库和hbase几点疑惑,希望有高手可以帮忙解决一下,谢谢了!!!

有几点关于hadoop的hive数据仓库和hbase几点疑惑,希望有高手可以帮忙解决一下,谢谢了!!!,第1张

首先感觉你有点乱。。。

你先明白数据仓库的作用--存储历史数据-进而对数据进行分析,只提供查询-不提供修改

1。Hive 的目标是做成数据仓库,所以它提供了SQL,提供了文件-表的映射关系,又由于Hive基于HDFS,所以不提供Update,因为HDFS本身就不支持。

2HBase 是NoSQL数据库-所以不要跟传统混淆并谈-NoSQL 提供的是另一种思路来满足高性能的需求,而这些是传统数据库的短板,与传统数据库的理念不一样

3load data 这个可以自己去查。Hbase要使用自己的API

4是的。

5这句话不对。

6映射就是结构对应-如文件每一行的第一个字段-映射到Hive表的第一个字段

类似Hibernate的语法解析。

Hive本身实现了一套语法结构也就是 *** 作符。如扫描文件等,最终记本都会转换成MapReduce来运行

Java:只要了解一些基础即可,做大数据不需要很深的Java技术,学javaSE就相当于有学习大数据。

Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。

Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。

Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。

Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。

Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。

Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单

Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapRece、Spark脚本,还能检查你的程序是否执行正确。

Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。

Kafka:这是个比较好用的队列工具。

Spark:它是用来弥补基于MapRece处理数据速度上的缺点。

选择

BHbase是分布式的数据库, 可以通过不断增加服务器,来增加计算和存储能力

CHbase中一个存贮单元可以保存同一份数据的多个版本

A是错的,hbase是面向列的存储

D hbase可扩展性和海量数据存储,恰恰可以用在高并发场景。

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

模型

主要讨论逻辑模型和物理模型

(1)逻辑模型

Hbase的名字的来源是Hadoop database,即hadoop数据库。

主要是从用户角度来考虑,即如何使用Hbase。

(2)物理模型

主要从实现Hbase的角度来讨论

HBase数据模型

逻辑结构

逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从 HBase 的底层物理存储结构(K-V)来看,HBase 更像是一个 multi-dimensional map

以上就是关于有几点关于hadoop的hive数据仓库和hbase几点疑惑,希望有高手可以帮忙解决一下,谢谢了!!!全部的内容,包括:有几点关于hadoop的hive数据仓库和hbase几点疑惑,希望有高手可以帮忙解决一下,谢谢了!!!、大数据都是学什么软件(大数据用什么软件)、以下对HBase的描述中,哪些选项是正确的等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9630860.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-30
下一篇 2023-04-30

发表评论

登录后才能评论

评论列表(0条)

保存