db.properties怎么创建

解决办法：1创建数据库

hive>create database myhive;

hive>create database if not exists myhive;

2查询数据库和表

hive>show databases;

hive>show tables;

使用正则表达式：

hive>show databases like 'h';

3修改数据库默认位置

hive>create database myhive

>location 'my/myhivedb'; //要指定数据库名

1)为数据库增加描述信息

hive>create database myhive

>comment 'this is my';

hive> desc database myhive; //显示详细信息

2)增加一些和其相关的键-值对属性信息

hive>create database myhive

>with dbproperties('name'='lu','data'='2012-01-02');

查看：hive>desc database extended myhive;

hive>use default；

为什么使用Hive？

为什么使用Hive？那么，在哪里使用Hive呢？在载入了60亿行（经度、维度、时间、数据值、高度）数据集到MySQL后，系统崩溃了，并经历过数据丢失。这可能部分是因为我们最初的策略是将所有的数据都存储到单一的一张表中了。后来，我们调整了策略通过数据集和参数进行分表，这有所帮助但也因此引入了额外的消耗，而这并非是我们愿意接受的。

相反，我们决定尝试使用Apache Hive技术。我们安装了Hive 05 + 20，使用CDHv3和Apache Hadoop(0 20 2 + 320)。CDHv3还包含有许多其他相关工具，包括Sqoop和Hue这些在我们的架构中都标识出来了，如图23-3底部所示。

我们使用Apache Sqoop转储数据到Hive中，然后通过写一个Apache OODT包装器，来使Hive按照空间/时间约束查询数据，然后将结果提供给RCMET和其他用户(图23-2中间部分显示)。RCMES集群的完整的架构如图23- 3所示。我们有5台机器，包括图中所示的一个主/从配置，通过一个运行GigE的私人网进行连接。

Hive提供了什么

Photobucket公司使用Hive的主要目标是为业务功能、系统性能和用户行为提供答案。为了满足这些需求，我们每晚都要通过Flume从数百台服务器上的MySQL数据库中转储来自Web服务器和自定义格式日志TB级别的数据。这些数据有助于支持整个公司许多组织，比如行政管理、广告、客户支持、产品开发和 *** 作，等等。对于历史数据，我们保持所有MySQL在每月的第一天创建的所有的数据作为分区数据并保留30天以上的日志文件。Photobucket使用一个定制的ETL框架来将MySQL数据库中数据迁移到Hive中。使用Flume将日志文件数据写入到HDFS中并按照预定的Hive流程进行处理。

Hive支持的用户有哪些

行政管理依赖于使用Hadoop提供一般业务健康状况的报告。Hive允许我们解析结构化数据库数据和非结构化的点击流数据，以及业务所涉及的数据格式进行读取。

广告业务使用Hive筛选历史数据来对广告目标进行预测和定义配额。产品开发无疑是该组织中产生最大数量的特定的查询的用户了。对于任何用户群，时间间隔变化或随时间而变化。Hive是很重要的，因为它允许我们通过对在当前和历史数据中运行A / B测试来判断在一个快速变化的用户环境中新产品的相关特性。

在Photobucket公司中，为我们的用户提供一流的系统是最重要的目标。从 *** 作的角度来看，Hive被用来汇总生成跨多个维度的数据。在公司里知道最流行的媒体、用户、参考域是非常重要的。控制费用对于任何组织都是重要的。一个用户可以快速消耗大量的系统资源，并显著增加每月的支出。Hive可以用于识别和分析出这样的恶意用户，以确定哪些是符合我们的服务条款，而哪些是不符合的。也可以使用Hive对一些 *** 作运行A / B测试来定义新的硬件需求和生成ROI计算。Hive将用户从底层MapReduce代码解放出来的能力意味着可以在几个小时或几天内就可以获得答案，而不是之前的数周。

Hive中的数据库

Hive中数据库的概念本质上仅仅是表的一个目录或者命名空间。然而，对于具有很多组和用户的大集群来说，这是非常有用的，因为这样可以避免表命名冲突。通常会使用数据库来将生产表组织成逻辑组。

如果用户没有显式指定数据库，那么将会使用默认的数据库default。

下面这个例子就展示了如何创建一个数据库：

hive> CREATE DATABASE financials;

如果数据库financials已经存在的话，那么将会抛出一个错误信息。使用如下语句可以避免在这种情况下抛出错误信息：

hive> CREATE DATABASE IF NOT EXISTS financials;

虽然通常情况下用户还是期望在同名数据库已经存在的情况下能够抛出警告信息的，但是IF NOT EXISTS这个子句对于那些在继续执行之前需要根据需要实时创建数据库的情况来说是非常有用的。

在所有的数据库相关的命令中，都可以使用SCHEMA这个关键字来替代关键字TABLE。

随时可以通过如下命令方式查看Hive中所包含的数据库：

hive> SHOW DATABASES;

default

financials

hive> CREATE DATABASE human_resources;

hive> SHOW DATABASES;

default

financials

human_resources

如果数据库非常多的话，那么可以使用正则表达式匹配来筛选出需要的数据库名，正则表达式这个概念，将会在第623节“Like和RLike”介绍。下面这个例子展示的是列举出所有以字母h开头，以其他字符结尾（即部分含义）的数据库名：

hive> SHOW DATABASES LIKE 'h';

human_resources

hive>

Hive会为每个数据库创建一个目录。数据库中的表将会以这个数据库目录的子目录形式存储。有一个例外就是default数据库中的表，因为这个数据库本身没有自己的目录。

数据库所在的目录位于属性hivemetastorewarehousedir所指定的顶层目录之后，这个配置项我们已经在前面的第251节“本地模式配置”和第252节“分布式模式和伪分布式模式配置”中进行了介绍。假设用户使用的是这个配置项默认的配置，也就是/user/hive/warehouse，那么当我们创建数据库financials时，Hive将会对应地创建一个目录/user/hive/warehouse/financialsdb。这里请注意，数据库的文件目录名是以db结尾的。

用户可以通过如下的命令来修改这个默认的位置：

hive> CREATE DATABASE financials

> LOCATION '/my/preferred/directory';

用户也可以为这个数据库增加一个描述信息，这样通过DESCRIBE DATABASE <database> 命令就可以查看到该信息。

hive> CREATE DATABASE financials

> COMMENT 'Holds all financial tables';

hive> DESCRIBE DATABASE financials;

financials Holds all financial tables

hdfs://master-server/user/hive/warehouse/financialsdb

从上面的例子中，我们可以注意到，DESCRIEB DATABASE语句也会显示出这个数据库所在的文件目录位置路径。在这个例子中，URI格式是hdfs。如果安装的是MapR，那么这里就应该是maprfs。对于亚马逊d性MapReduce（EMR）集群，这里应该是hdfs，但是用户可以设置hivemetastorewarehousedir为亚马逊S3特定的格式（例如，属性值设置为s3n://bucketname）。用户可以使用s3作为模式，但是如果使用新版的规则s3n会更好。

前面DESCRIBE DATABASE语句的输出中，我们使用了master-server来代表URI权限，也就是说应该是由文件系统的“主节点”（例如，HDFS中运行NameNode服务的那台服务器）的服务器名加上一个可选的端口号构成的（例如，服务器名：端口号这样的格式）。如果用户执行的是伪分布式模式，那么主节点服务器名称就应该是localhost。对于本地模式，这个路径应该是一个本地路径，例如file:///user/hive/warehouse/financialsdb。

如果这部分信息省略了，那么Hive将会使用Hadoop配置文件中的配置项fsdefaultname作为master-server所对应的服务器名和端口号，这个配置文件可以在$HADOOP_HOME/conf这个目录下找到。

需要明确的是，hdfs:///user/hive/warehouse/financialsdb和hdfs://master-server/user/hive/

warehouse/financialsdb是等价的，其中master-server是主节点的DNS名和可选的端口号。

为了保持完整性，当用户指定一个相对路径（例如，some/relative/path）时，对于HDFS和Hive，都会将这个相对路径放到分布式文件系统的指定根目录下（例如，hdfs:///user/<user-name>）。然而，如果用户是在本地模式下执行的话，那么当前的本地工作目录将是some/relative/path的父目录。

为了脚本的可移植性，通常会省略掉那个服务器和端口号信息，而只有在涉及到另一个分布式文件系统实例（包括S3存储）的时候才会指明该信息。

此外，用户还可以为数据库增加一些和其相关的键-值对属性信息，尽管目前仅有的功能就是提供了一种可以通过DESCRIBE DATABASE EXTENDED <database>语句显示出这些信息的方式：

hive> CREATE DATABASE financials

> WITH DBPROPERTIES ('creator' = 'Mark Moneybags', 'date' = '2012-01-02');

hive> DESCRIBE DATABASE financials;

financials hdfs://master-server/user/hive/warehouse/financialsdb

hive> DESCRIBE DATABASE EXTENDED financials;

financials hdfs://master-server/user/hive/warehouse/financialsdb

{date=2012-01-02, creator=Mark Moneybags);

USE命令用于将某个数据库设置为用户当前的工作数据库，和在文件系统中切换工作目录是一个概念：

hive> USE financials;

现在，使用像SHOW TABLES这样的命令就会显示当前这个数据库下所有的表。

不幸的是，并没有一个命令可以让用户查看当前所在的是哪个数据库！幸运的是，在Hive中是可以重复使用USE…命令的，这是因为在Hive中并没有嵌套数据库的概念。

可以回想下，在第272节“变量和属性”中提到过，可以通过设置一个属性值来在提示符里面显示当前所在的数据库（Hive v080版本以及之后的版本才支持此功能）：

hive> set hivecliprintcurrentdb=true;

hive (financials)> USE default;

hive (default)> set hivecliprintcurrentdb=false;

hive>

最后，用户可以删除数据库：

hive> DROP DATABASE IF EXISTS financials;

IF EXISTS子句是可选的，如果加了这个子句，就可以避免因数据库finanacials不存在而抛出警告信息。

默认情况下，Hive是不允许用户删除一个包含有表的数据库的。用户要么先删除数据库中的表，然后再删除数据库；要么在删除命令的最后面加上关键字CASCADE，这样可以使Hive自行先删除数据库中的表：

hive> DROP DATABASE IF EXISTS financials CASCADE;

如果使用的是RESTRICT这个关键字而不是CASCADE这个关键字的话，那么就和默认情况一样，也就是，如果想删除数据库，那么必须先要删除掉该数据库中的所有表。

如果某个数据库被删除了，那么其对应的目录也同时会被删除。

之前根据网上相关教程搭建hive，一直没什么问题，最近新搭建 hive服务时出现了无法创建数据表的问题，从日志中发现报了一个,无法找到/user问题，正常情况下创建一张数据表的时候会在hdfs中创建一个/user/hive/warehouse的文件夹，去hdfs中没有这个目录，我就手动添加

显示添加失败，经过尝试要在目录前添加-p函数，并且添加namenode的域名（机器名）和端口

创建成功后，重新打开hive使用,创建hive表，依然失败,一样的报错，无法找到/user目录。依据上次手动创建目录的经验我认为应该是没找到对应的hdfs服务。

修改hive-sitexml文件

重新启动hive, 可以创建hive表了。对于之前使用hive无需过多配置，这次却需要修改warehouse，也找到了合理的解释，之前配置hive都是安装在Hadoop namenode的机器上直接可以通过/user/hive/warehouse创建hdfs目录，但是这次为了分散压力我把hive安装到了别的服务器上，导致无法找到正确的namenode，所以需要在hivemetastorewarehousedir，添加hdfs联邦的地址。

指定数据存放位置，如果没有指定，就会在hdfs的默认位置建立表文件。

Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。

Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：表(Table)，外部表(External Table)，分区(Partition)，桶(Bucket)。

扩展资料：

Hive中的表和数据库中的表在概念上相似。 每个表在Hive中都有一个对应的目录来存储数据。

例如，一个表pvs，其在HDFS中的路径为：/ wh / pvs，其中wh是在 hive-sitexml 中由 ${hivemetastorewarehousedir} 指定的数据仓库的目录，所有表数据（ 不包括外部表）存储在此目录中。

Partition 对应于数据库中的 Partition 列的密集索引，但是Hive中的Partition的组织方式与数据库中的完全不同。 在Hive中，表中的Partition与表下的目录相对应，所有Partition的数据都存储在相应的目录中。

hivesql sql

— 获取指定hive表或指定文件中所有hive表的DDL，如果有按天的分区则默认执行最近7天的分区DDL。同时，table支持符合sql语法的正则表达式，如果有多个表匹配，则提示用户选择(使用file则自动关闭该交互功能)。

hivesql synctab

— 基本同上，但是会将得到的DDL提交到当前的hive环境，可用来在不同的hive环境中复制表结构。

如果需要多天分区DDL还可以这样用(前提是分区中含有日期信息，如pt=20100720):

hivesql sql s_table 20100702 — 除建表语句外，获得自20100702以来的分区DDL

hivesql sql s_table 20100702 20100725 — ………………………自20100702-20100725的分区DDL

hivesql sql s_table 20100702 10 — ………………………自20100702起10天的分区DDL

hivesql synctab和hivesql sql一样支持上述日期限定功能。

此外，还提供了两个附加的功能(也很有用呃)

hivesql loc — 根据关键字查找能够匹配到的hive表或对应的数据路径

hivesql hdfswc — 获取指定数据目录下所有数据的总行数，支持普通文本，TextFile和SequenceFile的压缩格式，类似于linux下的wc -l

1

进入HIVE之前要把HADOOP给启动起来，因为HIVE是基于HADOOP的。所有的MR计算都是在HADOOP上面进行的。

2

在命令行中输入：hive。这个时候就可以顺利的进入HIVE了。当然了，如果你想直接执行HQL脚本文件可以这样：hive -f xxxxxhql。

3

进入hive之后一一般默认的数据库都是default。如果你切换数据库的话所建的表都会是在default数据库里面。

4

创建数据库的语法是：create database database_name;非常简单的，其实hive跟mysql的语法还是比较相似的。为什么呢？请继续往下

5

切换数据库的时候可以输入：use database_name；

查看所有数据库的时候可以输入：show databases;

查看所有表的时候可以输入：show tables

6

看表结构的时候可以输入：describe tab_name;

"jdbc:hive://localhost:10000/default" Currently, the only dbname supported is "default"

写不写 dbname都是无用的 他潜在只支持 default

所谓的大数据平台不是独立存在的，比如百度是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。

我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。

这是个需求驱动的过程。

曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。

对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。

当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。

也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起724小时随时准备出台。然后上面再有平台组真的大数据平台走起。

然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。

当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。

接下去你可能需要一些重量的组件帮你做一些事情。

比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。

你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。

数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。

你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者SparkMLLib，于是你也部署了这些。

至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。

比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。

你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。

又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。

再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。

当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？

你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。

上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。

以上就是关于db.properties怎么创建全部的内容，包括:db.properties怎么创建、为什么使用HiveHive提供了什么Hive支持哪些用户、hive 创建数据表失败等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！