hive和mysql都是行数据库

1.查询语言不同：hive是hql语言，mysql是sql语句；

2.数据存储位置不同：hive是把数据存储在hdfs上，而mysql数据是存储在自己的系统中；

3.数据格式：hive数据格式可以用户自定义，mysql有自己的系统定义格式；

4.数据更新：hive不支持数据更新，只可以读，不可以写，而sql支持数据更新；

5.索引：hive没有索引，因此查询数据的时候是通过mapreduce很暴力的把数据都查询一遍，也造成了hive查询数据速度很慢的原因，而mysql有索引；

6.延迟性：hive延迟性高，原因就是上边一点所说的，而mysql延迟性低；

7.数据规模：hive存储的数据量超级大，而mysql只是存储一些少量的业务数据；

8.底层执行原理：hive底层是用的mapreduce，而mysql是excutor执行器；

一个新的、大规模分析与存储的时代正在我们面前徐徐展现身姿。Ocient、Imply、VAST Data及WEKA这四家初创公司，都在以几秒之内存储并访问数百PB、也就是数万亿行数据为核心卖点。但他们所宣传的这种大规模并行访问技术，从本质上讲走的是不涉及任何硬件的纯软件性能增长路线。

话虽如此，但必须强调一点：VAST Data和Ocient的产品都以NVMe SSD为基本组件，WEKA也在部署中使用到了固态存储设备。

好在这类超高速访问需求在结构化和非结构化数据场景中还不算普遍，目前主要集中在少数几个市场——金融交易（VAST和WEKA以此见长）、在线媒体广告展示技术（Ocient的主要业务所在）、高性能计算（WEKA）以及AI/ML模型训练。

VAST公司联合创始人Jeff Denworth认为，AI/ML技术的应用终将扩展到常规商业市场。大多数企业都需要把内部生产日志跟外部客户交互结合起来，从数据中查找模式、分析原因并做出最优内外部运营决策。这种最优决策既体现在业务流程的各个细节当中，也将有助于增强企业的整体盈利能力。

当前，ML模型已经被实际应用于设备 健康 扫描、投资交易决策、工厂生产运营、物流交付路径、产品推荐、流程改进与员工效率等场景。根据Denworth的介绍，ML模型的复杂性每年大约翻一番，而且目前的经验基本仍是模型体量越大、训练和后续推理效果越好。

Pure正在进军规模更大的数据集市场，高端阵列供应商Infinidat则已经在这一领域有所布局。

这种对EB级存储需求的认同和布局，也让他们同主流存储厂商形成了显著差异。在Denworth看来，要想真正参与竞争，老牌大厂首先得克服传统架构带来的种种劣势。

Ocient刚刚推出了其超大规模数据仓库产品。此次亮相的是v19.0版本，而且旧版本在过去一年中已经成功得到部分企业客户的大规模应用。Ocient公司还提到，该产品专门负责给结构化与半结构化数据集，提供性价比极高的复杂与连续分析支持。在这套数据仓库的协助下，客户能够完成以往无法完成的工作负载，并把结果的返回时间由以往的几小时甚至几天、缩短到如今的几分钟甚至是几秒。

Ocient还提到，这款软件采用计算相邻存储架构（CASA），也就是将存储与计算资源彼此相邻地放置在行业标准的NVMe固态驱动器上。这不仅将随机读取IOPS成功拉升至每秒数亿次，同时能够支持对多种复杂数据类型同时执行加载、转换、存储、分析等大规模并发处理。整个数据路径都针对需求做出了性能优化。

例如，这套数据仓库提供对接NVMe SSD的高吞吐量自定义接口，并提供高并发读取与高队列深度等用于充分发挥硬件性能的设计。其中还包含一个无锁、大规模并发SQL成本优化器，能够确保每项查询计划都能在服务类别之内高效执行，且不会影响到其他工作负载或用户体验。

Ocient超大规模数据仓库目前主要以三种方式交付：OcientCloud内的全托管服务，客户自有数据中心的本地解决方案，以及Google Cloud Marketplace中的商业产品。

VAST Data即将推出一款重要软件。Denworth表示，VAST已经在硬件阵列、无状态控制器和单层QLC闪存存储方面做出不少 探索 ，接下来的工作重点将转向软件领域。

面对重重压力，老牌厂商当然需要做出回应、顶住后起之秀们拿出的新兴技术。单靠全闪存加单层设计当然不够，主流存储商还得调整自身软件家族。这可能意味着投入数年时间，从头开始开发新的软件解决方案。考虑到时间成本，大厂们很可能会直接采购这类技术成果。届时，也许存储领域也会掀起一波类似于英伟达那样的并购浪潮，借他人之力保持自身在AI/ML时代下的市场地位。

总而言之，除非戴尔、IBM、HPE、NetApp、Qumulo以及各大对象存储厂商用实际行动证明，他们也能在规模、性能、d性和成本等指标上正面抗衡那些初创厂商，否则他们必然会在百PB、万亿行级别的结构化/非结构化数据集时代下逐渐边缘化。至少Imply、Ocient、VAST和WEKA都对自己充满信心，也期待着“彼可取而代之”的那天。

1\x0d\x0a如何锁一个表的某一行\x0d\x0a\x0d\x0aSETTRANSACTION\x0d\x0aISOLATIONLEVELREADUNCOMMITTED\x0d\x0a\x0d\x0aSELECT*FROMtableROWLOCKWHEREid=1\x0d\x0a\x0d\x0a2锁定数据库的一个表\x0d\x0a\x0d\x0aSELECT*FROMtableWITH(HOLDLOCK)\x0d\x0a\x0d\x0a加锁语句：\x0d\x0asybase:\x0d\x0aupdate表setcol1=col1where1=0\x0d\x0a\x0d\x0aMSSQL:\x0d\x0aselectcol1from表(tablockx)\x0d\x0awhere\x0d\x0a1=0\x0d\x0a\x0d\x0aoracle:\x0d\x0aLOCKTABLE表INEXCLUSIVEMODE；\x0d\x0a\x0d\x0a加锁后其它人不可 *** 作，直到加锁用户解锁，用commit或rollback解锁\x0d\x0a\x0d\x0a几个例子帮助大家加深印象\x0d\x0a\x0d\x0a设table1(A,B,C)\x0d\x0aABC\x0d\x0aa1b1c1\x0d\x0aa2b2c2\x0d\x0aa3b3c3\x0d\x0a\x0d\x0a1）排它锁\x0d\x0a新建两个连接\x0d\x0a在第一个连接中执行以下语句\x0d\x0abegintran\x0d\x0aupdatetable1\x0d\x0a\x0d\x0aset\x0d\x0aA='aa'\x0d\x0awhereB='b2'\x0d\x0awaitfordelay\x0d\x0a'00:00:30'--等待30秒\x0d\x0acommittran\x0d\x0a\x0d\x0a在第二个连接中执行以下语句\x0d\x0abegintran\x0d\x0aselect*fromtable1\x0d\x0a\x0d\x0awhereB='b2'\x0d\x0acommittran\x0d\x0a\x0d\x0a若同时执行上述两个语句，则select查询必须等待update执行完毕才能执行即要等待30秒\x0d\x0a\x0d\x0a2）共享锁\x0d\x0a在第一个连接中执行以下语句\x0d\x0abegintran\x0d\x0aselect*fromtable1\x0d\x0aholdlock\x0d\x0a-holdlock人为加锁\x0d\x0awhereB='b2'\x0d\x0awaitfordelay\x0d\x0a'00:00:30'--等待30秒\x0d\x0acommittran\x0d\x0a\x0d\x0a在第二个连接中执行以下语句\x0d\x0abegintran\x0d\x0aselectA,C\x0d\x0afrom\x0d\x0atable1\x0d\x0awhereB='b2'\x0d\x0aupdatetable1\x0d\x0a\x0d\x0aset\x0d\x0aA='aa'\x0d\x0awhereB='b2'\x0d\x0acommittran\x0d\x0a\x0d\x0a若同时执行上述两个语句，则第二个连接中的select查询可以执行\x0d\x0a而update必须等待第一个事务释放共享锁转为排它锁后才能执行\x0d\x0a即要等待30秒\x0d\x0a\x0d\x0a3）死锁\x0d\x0a增设table2(D,E)\x0d\x0aDE\x0d\x0ad1e1\x0d\x0ad2e2\x0d\x0a\x0d\x0a在第一个连接中执行以下语句\x0d\x0abegintran\x0d\x0aupdatetable1\x0d\x0a\x0d\x0aset\x0d\x0aA='aa'\x0d\x0awhereB='b2'\x0d\x0awaitfordelay\x0d\x0a'00:00:30'\x0d\x0aupdatetable2\x0d\x0a\x0d\x0aset\x0d\x0aD='d5'\x0d\x0awhereE='e1'\x0d\x0acommittran\x0d\x0a\x0d\x0a在第二个连接中执行以下语句\x0d\x0abegintran\x0d\x0aupdatetable2\x0d\x0a\x0d\x0aset\x0d\x0aD='d5'\x0d\x0awhereE='e1'\x0d\x0awaitfordelay\x0d\x0a'00:00:10'\x0d\x0aupdatetable1\x0d\x0a\x0d\x0aset\x0d\x0aA='aa'\x0d\x0awhereB='b2'\x0d\x0acommittran\x0d\x0a\x0d\x0a同时执行，系统会检测出死锁，并中止进程\x0d\x0a\x0d\x0a补充一点:\x0d\x0aSqlServer2000支持的表级锁定提示\x0d\x0a\x0d\x0aHOLDLOCK持有共享锁，直到整个事务完成，应该在被锁对象不需要时立即释放，等于SERIALIZABLE事务隔离级别\x0d\x0a\x0d\x0aNOLOCK语句执行时不发出共享锁，允许脏读，等于READ\x0d\x0aUNCOMMITTED事务隔离级别\x0d\x0a\x0d\x0aPAGLOCK在使用一个表锁的地方用多个页锁\x0d\x0a\x0d\x0aREADPAST让sql\x0d\x0aserver跳过任何锁定行，执行事务，适用于READUNCOMMITTED事务隔离级别只跳过RID锁，不跳过页，区域和表锁\x0d\x0a\x0d\x0aROWLOCK\x0d\x0a强制使用行锁\x0d\x0a\x0d\x0aTABLOCKX强制使用独占表级锁，这个锁在事务期间阻止任何其他事务使用这个表\x0d\x0a\x0d\x0aUPLOCK\x0d\x0a强制在读表时使用更新而不用共享锁\x0d\x0a\x0d\x0a应用程序锁:\x0d\x0a应用程序锁就是客户端代码生成的锁，而不是sqlserver本身生成的锁\x0d\x0a\x0d\x0a处理应用程序锁的两个过程\x0d\x0a\x0d\x0asp_getapplock锁定应用程序资源\x0d\x0a\x0d\x0asp_releaseapplock\x0d\x0a为应用程序资源解锁\x0d\x0a\x0d\x0a注意:锁定数据库的一个表的区别\x0d\x0a\x0d\x0aSELECT*FROMtableWITH(HOLDLOCK)\x0d\x0a其他事务可以读取表，但不能更新删除\x0d\x0a\x0d\x0aSELECT*FROMtableWITH(TABLOCKX)\x0d\x0a其他事务不能读取表,更新和删除\x0d\x0a\x0d\x0a1\x0d\x0a如何锁一个表的某一行\x0d\x0a/*\x0d\x0a测试环境：windows2Kserver+Mssql2000\x0d\x0a\x0d\x0a所有功能都进行测试过，并有相应的结果集，如果有什么疑义在论坛跟帖\x0d\x0a\x0d\x0a关于版权的说明：部分资料来自互联网，如有不当请联系版主，版主会在第一时间处理。\x0d\x0a\x0d\x0a功能：sql遍历文件夹下的文本文件名,当然你修改部分代码后可以完成各种文件的列表。\x0d\x0a*/\x0d\x0a\x0d\x0aA\x0d\x0a连接中执行\x0d\x0a\x0d\x0aSETTRANSACTION\x0d\x0aISOLATIONLEVELREPEATABLE\x0d\x0aREAD\x0d\x0a\x0d\x0abegintran\x0d\x0a\x0d\x0aselect*fromtablename\x0d\x0awith\x0d\x0a(rowlock)whereid=3\x0d\x0a\x0d\x0awaitfordelay'00:00:05'\x0d\x0a\x0d\x0acommittran\x0d\x0a\x0d\x0aB连接中如果执行\x0d\x0a\x0d\x0aupdatetablenameset\x0d\x0acolname='10'whereid=3\x0d\x0a--则要等待5秒\x0d\x0a\x0d\x0aupdatetablename\x0d\x0aset\x0d\x0acolname='10'whereid3\x0d\x0a--可立即执行\x0d\x0a\x0d\x0a2\x0d\x0a锁定数据库的一个表\x0d\x0a\x0d\x0aSELECT*FROMtableWITH(HOLDLOCK)\x0d\x0a\x0d\x0a注意:锁定数据库的一个表的区别\x0d\x0a\x0d\x0aSELECT*FROMtableWITH(HOLDLOCK)\x0d\x0a\x0d\x0a其他事务可以读取表，但不能更新删除\x0d\x0a\x0d\x0aSELECT*FROMtableWITH(TABLOCKX)\x0d\x0a\x0d\x0a其他事务不能读取表,更新和删除

---