URL是计算机专业书籍,英语UniformResourceLocator的缩写,意为统一资源定位符,是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,俗称网址。每一个网页都有只属于自己的URL,它具有全球唯一性。
URL由以下几部分组成:协议,服务器主机地址,端口,路径和参数。
1、协议:常用的有>
2、服务器主机地址:可以是域名,也可以是主机名,或IP地址。
3、端口:服务器设定的端口。URL地址里一般无端口,因为服务器使用了协议的默认端口,用户通过url访问服务器时,可以省略。
4、路径:访问的资源在服务器下的相对路径,是服务器上的一个目录或者文件地址。
5、参数:查询搜索的部分,通过问号?连接到路径后面,有时候也归类到路径中。
:互联网又称网际网路,根据音译也被叫做因特网、英特网,是网络与网络之间所串连成的庞大网络,这些网络以一组通用的协议相连,形成逻辑上的单一且巨大的全球化网络,在这个网络中有交换机、路由器等网络设备、各种不同的连接链路、种类繁多的服务器和无数的计算机、终端。使用互联网可以将信息瞬间发送到千里之外的人手中,它是信息社会的基础。
IP地址(定义)(基于IPV4协议)
IP地址是IP协议提供的一种统一的地址格式,它为互联网上的每一个网络和每一台主机分配一个逻辑地址,以此来屏蔽物理地址的差异。
Internet上的每台主机(Host)都有一个唯一的IP地址。IP协议就是使用这个地址在主机之间传递信息,这是Internet能够运行的基础。
域名
域名是Internet上某一台计算机或计算机组的名称,用于在数据传输时标识计算机的电子方位(有时也指地理位置)。
域名是与网络上的数字型IP地址对应的字符型地址,域名必须对应一个IP地址,一个IP地址可以有多个域名,也可以没有域名。
IP地址是Internet主机的作为路由寻址用的数字体标识,因为人不容易记忆数字,因而产生了域名这一种字符型标识。
域名可以分为三部分,主机名+组织名+后缀(以指明组织的类型或该域所在的国家或地区)。域名下还可以有子域名,
常常把子域名也叫做域名。例如,域名com下,有(子)域名abccom;如果有主机server1和server2,就有完整域名server1abccom和server2abccom。
统一资源定位符URL
URL是对可以从互联网上得到的资源的位置和访问方法的表示,是互联网上标准资源的地址。
互联网上的每个文件都有一个唯一的URL,它包含的信息指出文件的位置以及浏览器应该怎么处理它。
基本URL包含:模式(或称协议)、服务器域名(或服务器IP地址)、路径和文件名,如“协议://授权/路径查询”。
完整的、带有授权部分的普通统一资源标志符语法看上去如下:协议://用户名:密码@子域名域名顶级域名:端口号/目录/文件名文件后缀参数=值#标志
1首先打开浏览器,在百度搜索中输入搜索关键字。(演示以搜索“百度一下”为例)
2在搜索页面的顶部就是对应的URL(也就是常说的网页网址)。
3选择地址栏的网址,然后右键鼠标选择复制,将网页的网址进行复制。
4复制完后,可以在word文档,记事本等软件将网址(URL)进行保存。
创建testjava 文件包含如下内容:
在命令行中编译和执行
Phoenix Thick驱动的JDBC的URL格式如下([]内的元素可选择的)
最简单的例子:
最复杂的例子:
请注意,URL中的每个可选元素都需要前面所有可选元素。例如,去指定Hbase的zk节点,那么zk的端口必须是指定的。
这些信息最初包含在 该页 。
Phoenix Thin驱动(与Phoenix查询服务一起使用)JDBC格式如下:
这里暴露了数个key供客户端使用。最经常使用的key为 url 和 serialization 。url key直接影响到需要查询的Phoenix查询服务器的地址。
最简单的URL例子:
非常复杂的URL例子:
这里记录着所有有关于Thin 客户端JDBC URL涉及到的支持项,可以参考 Apache Avatica documentation 和 Query Server Documentation 。
查看 相关例子 。
CSV数据可以批量导入通过psql的通用功能。一般插入的速度在20K-50K行数据每秒。(取决于一行数据有多大)。
创建表例子:
插入数据例子:
你可以创建Phoenix 表(table)和视图(view)通过 CREATE TABLE/CREATE VIEW 在已存在的HBase表上执行DLL语句。两种情况下都不会改变Hbase的元数据。对于 CREATE TABLE ,我们会创建任何不存在的元数据(table,column families)。我们会增加空键在每一行,所以查询的行为符合预期(不需要所有的列都进行扫描)。
需要注意的是字节的序列化必须匹配Phoenix的字节序列化。比如varchar、char和unsigned_ 类型,我们使用Hbase字节方法。char类型预期只有单字节字符和无符号类型预期值大于或者等于0。 对于有符号的类型(tinyint,smallint,integer 和bigint),phoenix会翻转第一个字节,这样负值会在正值之前排序。 因为Hbase排序row key按照ASCII正序排列,负值的第一位是1 而正值的第一位是0,那么负值大于正值,党我们不进行第一位翻转时。所以你存储整数时通过Hbase本地API接口和想通过Phoenix访问整数,确认你的数据类型是否是无符号类型。
我们复合row key可以将简单的值进行拼接在一起,在可变长类型上使用0字节作为分隔符。
如果你创建Hbase表如下:
如果你已经有了一张带有名称为't1'和列簇为'f1'的Hbase表。那么请记住,在Hbase中你不用对可能的键值和row key结构进行建模。这是你在phoenix指定的表和列簇之外的信息。所以在phoenix,你不需要像这样创建view:
这个‘pk’列定义,你的row key是varchar类型(类似字符串),而'f1'val列定义你的Hbase表包含键值形式和列成员及列限定符为'f1'val还有他们的类型为varchar。
注意,你不需要使用双引号,当你创建你的hbase表包含所有的大写名称(Phoenix会标准化字符串,将字符串转大写)。比如:
你可以这样创建phoenix视图:
或者如果你创建了新的hbase表,不需要借助hbase shell,直接在phoenix *** 作。
注意:理想情况下4核CPU的16个region server,可以选择salt buckets在32-64最佳性能。
始于Phoenix 21版本,Phoenix开始支持索引在可变和不可变的数据中。注意,Phoenix在20x中仅支持不可变数据的索引。索引写性能在不可变索引表中,稍微快一些于可变数据表,不可变数据表即是数据不支持更新。
例子:
更新行信息在test表中,Phoenix查询优化器会选择正确的索引去使用。你可以查看 explain plan 如果Phoenix使用这个索引表。你还可以在Phoenix查询中给出使用特定索引的 提示 。
除非查询中使用到的所有列都在二级索引中,否作不会使用二级索引(作为直接索引,或者覆盖索引)。构成数据表中的主键全部列都会自动包含在索引中。
在lastname不是索引或者覆盖所有一部分时,索引是没有被使用到。这点可以在 "explain plan" 中被证实。在创建索引时固定lastname字段存在索引中一部分,或者时覆盖索引的覆盖字段。
例子:
Phoenix速度非常快,全表扫描100M的数据,通常情况下在20秒内完成(中等规模的集群上的小表)。如果查询包含到关键列的过滤器,则降低到毫秒级。你可以添加索引在导致性能等同于过滤键的列上,使用索引列作为键的一部分复制表。
为什么Phoenix即使做了全扫描,速度依然快:
检阅Anil Gupta的优秀 文章 。
Hadoop2的配置存在Phoenix的pomxml中即可。
在默认情况下,Phoenix让Hbase管理时间戳,并只让你查看最后的版本数据。但是,Phoenix也给用户提供支持任意的时间戳。要做到这一点,使用连接属性"CurrentSCN",像这样:
上面的 *** 作等同于Hbase API中的:
通过指定CurrentSCN,你可以告诉Phoenix。所有东西在这次连接中按该时间戳被完成。注意的是,这也适用于对连接执行的查询。举个例子,一个查询在myTable表的数据是不会看到刚插入的数据,因为它只看到创建连接时指定CurrentSCN属性之前的数据。这样提供了一种类似于快照的功能,或者是时间点查询。
请记住,创建个新的连接不是一个很昂贵的 *** 作。相同的底层Hbase的连接用于全部连接的相同的集群,所以或多或少实例出一些对象。
RANGE SCAN :意味着只扫描表中一部分数据。如果使用主键约束中的一个或者多个组成主键的列会出现这种情况。没有过滤PK列的查询,例子: select from test where pk2='x' and pk3='y'; 将会出现全扫描,然而在 select from test where pk1='x' and pk2='y'; 中却是范围扫描(range scan)。注意,你可以添加二级索引在"pk2"和"pk3"列上,会触发范围扫描(range scan)在第一次查询中。
DEGENERATE SCAN :意味着一个查询不能返回行数据。如果我们决定在编译时完成。我们甚至不需要运行扫描。
FULL SCAN :意味着所有行都被扫描到。(如果你有一个where子句,可能会应用到一个过滤器)
SKIP SCAN :将扫描一个表中的子集或者全部行。无论如何它将会根据过滤器跳过大分组的行。可以查看 博客 了解更多。如果主键上没有过滤器的列,那我们就不做SKIP SCAN,但是你可以强制SKIP SCAN通过使用/+ SKIP_SCAN/去命中。在一些条件下,也就是说当你的主键基数比较少时,它将会更有效超过FULL SCAN。
不,它不是必须的Phoenix jDBC连接池。
Phoenix的连接对象时不同大部分的JDBC连接,原因在于底层是Hbase的连接。Phoenix连接对象在设计时就是为了更精细便宜的代价去创建。如果Phoenix的连接被再利用,底层的HBase连接可能并不总是由前一个用户保持在健康状态。更好的方式是去创建一个新的Phoenix连接,保证避免潜在的问题。
实行Phoenix连接池可以简单的创建实例化委派,对外部而言,创建出新的Phoenix连接,实际是需要时从池中获取,对外部而言的关闭,实际是返回到池中去,可以参考 Phoenix-2388 。
空键值或者伪键值(_01列限定符)必须的,去保证列都有有效的在全部行中。
数据存储在Hbase是以键值对形式存在,意味着存储每个列值完整的行键。这还意味着,除非至少存储了一个列,否则根本不存储行键。
现在考虑到JDBC的行存在int类型的主键,和若干列可能是空(null)的。为了可以存储主键,键值必须去存储去展示这行数据的全部(现在的时间戳,考虑的时间戳版本)。你会注意到这些列是空列。这允许执行“SELECT FROM TABLE”并接收所有行的记录,即使那些非pk列为空的记录也是如此。
即使对于某些(或所有)记录只有一个列为空,也会出现相同的问题。在Phoenix上的扫描将包括空列,以确保只包含主键的行(所有非键列都为空)将包含在扫描结果中。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)