SQL连表查询跟一个个表查询那个快各有什么优点和缺点

SQL连表查询跟一个个表查询那个快各有什么优点和缺点,第1张

SQL连表查询称为联合查询,一个个表查询是单查询。两者的区别和优缺点如下:

1、从开发效率来看:

联合查询是需要多个单查询进行逻辑组合才能完成的查询的工作,联合查询仅仅需要一个SQL就可以完成查询工作,即把业务逻辑放到了SQL中,由数据库来处理,相对来说开发效率会比较高些。

2、从查询效率来看:

单查询的可重用性较高,所以效率相较之联合查询会更高。

数据库进行读写时,数据库会用锁机制,限制其他连接对其 *** 作。由于联合查询查询速度比单个查询要慢很多,这样联合查询会增加锁的竞争关系,所以用单查询会更好。

3、从逻辑架构分层原则来看

关联关系代表了业务规则/逻辑,如果大量使用关联查询,就是把大量的业务规则和逻辑放在数据库来执行了,数据库消耗cpu、内存、io等资源会大大增加。

4、从资源利用率方面看

大部分场景下,并不是所有关联查询的结果都被有效使用了。例如后台管理的列表界面会分页显示,关联查询的结果集,只有当前页的数据被使用,但数据库需要消耗额外资源得到全部结果集。

5、从架构的伸缩性方面看

大量的关联查询会导致集中式的数据库架构很难向分布式架构转换,伸缩性方面的优化难度高。关联查询方便快速,开发效率比较好。

不使用关联查询在架构层面有很多优点,但对系统分析和设计、开发能力要求高。一般在互联网行业等用户数较多的情况下最好重视这方面。

题主的两个查询由于数据量不多,效率上基本没有差别,但在实际应用中要根据数据量、业务复杂度等去综合评估。

一般情况下是一条语句来的快。如果表2的数据比表1多出几个数量级的话,并且表2中该id字段有索引,则有可能使用多次查询会快点。

一次查询的优点是只需要一次连接,数据库查询的时候,连接是个耗时的 *** 作。缺点是如果两个表数据多,则中间结果集太大,需要较多的内存资源。

多次查询的优缺点和一次查询正好反过来。另外多次查询也可以在程序中对每一次查询的中间结果做处理,这是一个灵活性。

SQL语言

SQL语言,是结构化查询语言(Structured Query Language)的简称。SQL语言是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统;同时也是数据库脚本文件的扩展名。

基于文件的影像数据库管理方式是将影像文件以文件夹的形式存储在计算机的硬盘或网络存储设备中,并使用文件目录结构来组织和管理文件。其优缺点如下:

优点:

1 管理简单易懂:基于文件的影像数据库管理方式,可以方便地使用 *** 作系统自带的文件管理工具进行管理,不需要额外的数据库管理软件或技术支持,易于理解与 *** 作。

2 通用性强:不像基于数据库的方案那样需要事先定义好数据结构,可以存储不同格式和大小的影像文件,兼容性好,适用于多种应用场景。

3 灵活性强:由于影像文件以文件夹的形式存储,可以方便地自定义目录结构,根据实际需求进行管理。

4 性能高:由于没有中间软件,对计算机资源的消耗较小,速度相对较快。

缺点:

1 安全性差:基于文件的影像数据库管理方式缺乏对数据的有效保护措施,易受到病毒、黑客、误删等风险。

2 数据冗余:文件文件管理方式的文件系统中,有可能存在重复保存的文件,导致数据库中包含有大量冗余数据,占用空间较大。

3 维护成本高:若文件目录结构建立不规范,需要更改目录结构时,会带来很高的维护成本。

4 受硬件限制:由于其数据存储在磁盘中,磁盘的容量、读写速度等硬件因素限制了基于文件的影像数据库管理方式的Storage容量和检索效率。

总之,基于文件的影像数据库管理方式具有通用性较强、管理简单、灵活性高、性能较优等优点,适用于小规模、简单的数据管理需求,但数据的安全性与维护成本仍是它的弱点。

1分布式数据库是数据库的一种,是数据库技术和网络技术的结合产物。

2各有优点和缺点分布式数据库分为逻辑上分部物理上分布及逻辑上分布物理上集中两种。

是的,分布式数据文件便于数据库的管理维护。

分布式数据库系统通常使用较小的计算机系统,每台计算机可单独放在一个地方,每台计算机中都有DBMS的一份完整拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的大型数据库。

这种组织数据库的方法克服了物理中心数据库组织的弱点。

1、首先,降低了数据传送代价,因为大多数的对数据库的访问 *** 作都是针对局部数据库的,而不是对其他位置的数据库访问;

2、其次,系统的可靠性提高了很多,因为当网络出现故障时,仍然允许对局部数据库的 *** 作,而且一个位置的故障不影响其他位置的处理工作,只有当访问出现故障位置的数据时,在某种程度上才受影响;

3、便于系统的扩充,增加一个新的局部数据库,或在某个位置扩充一台适当的小型计算机,都很容易实现。然而有些功能要付出更高的代价;

例如,为了调配在几个位置上的活动,事务管理的性能比在中心数据库时花费更高,而且甚至抵消许多其他的优点。

分布式数据库系统主要特点:

1多数处理就地完成;

2各地的计算机由数据通信网络相联系。

3克服了中心数据库的弱点:降低了数据传输代价;

4 提高了系统的可靠性,局部系统发生故障,其他部分还可继续工作;

5各个数据库的位置是透明的,方便系统的扩充;

6为了协调整个系统的事务活动,事务管理的性能花费高;

数据分片

类型:

(1)水平分片:按一定的条件把全局关系的所有元组划分成若干不相交的子集,每个子集为关系的一个片段。

(2)垂直分片:把一个全局关系的属性集分成若干子集,并在这些子集上作投影运算,每个投影称为垂直分片。

(3)导出分片:又称为导出水平分片,即水平分片的条件不是本关系属性的条件,而是其他关系属性的条件。

(4)混合分片:以上三种方法的混合。可以先水平分片再垂直分片,或先垂直分片再水平分片,或其他形式,但他们的结果是不相同的。

条件:

(1)完备性条件:必须把全局关系的所有数据映射到片段中,决不允许有属于全局关系的数据却不属于它的任何一个片段。

(2)可重构条件:必须保证能够由同一个全局关系的各个片段来重建该全局关系。对于水平分片可用并 *** 作重构全局关系;对于垂直分片可用联接 *** 作重构全局关系。

(3)不相交条件:要求一个全局关系被分割后所得的各个数据片段互不重叠(对垂直分片的主键除外)。

数据分配方式

(1)集中式:所有数据片段都安排在同一个场地上。

(2)分割式:所有数据只有一份,它被分割成若干逻辑片段,每个逻辑片段被指派在一个特定的场地上。

(4)全复制式:数据在每个场地重复存储。也就是每个场地上都有一个完整的数据副本。

(5)混合式:这是一种介乎于分割式和全复制式之间的分配方式。

目前分布式数据库分配的设计,越来越多的采用寻找最优解的算法,比如遗传算法、退火机制等

一:传统数据库

(1)传统索引不适于海量数据    

传统行存数据库索引需要手工设定,对应用不完全透明,随场景和需求的变化需要不断调整,人工维护成本很高。并且传统索引占用存储空间很大,甚至高于数据本身,造成查询效率的下降。

(2)数据装载速度慢

因为索引需要重新创建,加载性能会变的很糟糕。分析型架构系统要解决这些个问题,必须最大限度地减少磁盘 I/O ,提升查询效率,减小人工维护成本。南大通用分析型数据库GBase8a (以下简称GBase 8a)通过列存储模式、数据压缩、智能化的索引、并行处理、并发控制、高效的查询优化器等技术,使得上述问题得到有效解决。以下各节将描述 GBase 8a 的创新架构如何实现这些目标。

二:新型数据库

新型数据库采用分布式并行计算架构,部署于X86通用服务器,满足大数据实时交易需求,成本低、扩展性高,突破了传统数据库性能瓶颈。

分布式非关系型数据库技术创新

非关系型数据库即NoSQL,抛弃了关系数据库复杂的关系 *** 作、事务处理等功能,仅提供简单的键值对(Key, Value)数据的存储与查询,换取高扩展性和高性能,满足论坛、博客、SNS、微博等互联网类应用场景下针对海量数据的简单 *** 作需求。主要技术创新为:

(1) 简单的数据 *** 作换取高效响应。NoSQL仅支持按照Key(关键字)来存储和查询Value(数据),不支持对非关键字数据列的高效查询;因数据 *** 作简单、数据间一般不需要关联 *** 作,故系统可支持高并发和较快的响应速度。

(2) 多种一致性策略满足业务需求。不同于传统关系型数据库仅支持强一致性策略,NoSQL还支持弱一致性和最终一致性等多种策略,可根据应用场景进行对应配置。例如,对写入 *** 作频繁,但数据读取最新版本要求并不严格的应用,如互联网网页数据的存储和分析应用,可以采用最终一致性策略;而对订购关系存储的应用,则必须用强一致性策略,保证总是读取最新版本数据

如果数据量小的表,这样的设计意义不大,而且当然是单表速度快。若在大数据量情况下,设计非常有意义。在多表连接中注意数据的条目和外健,避免出行大量冗余数据导致性能下降。下面我以Oracle讲讲数据查询的整个过程技术。

由于数据分布到数据块,在大量数据设计中可以将数据存储于多个数据块,在高并发进程的随机访问的情况下,能有效减少块冲突 同样的数据需要更多的数据块来存储,由于数据块的块头元信息大小固定,所以需要更多的空间来存储块头元信息。行长度过大容易导致行连接,从而导致Oracle获取数据块的效率降低 ,在行长度固定的前提下,单块能够存储更多的数据行,也就意味着Oracle一次I/O能读取更多的数据行。适合连续顺序读或者存放大对象数据(如LOB数据) 由于大数据块可以存放更多的索引叶节点信息,容易引起争用,所以大数据块不适合存放索引叶节点信息。

大量数据表的数据库参数设置DB_FILE_MULTIBLOCK_READ_COUNT表示Oracle一次顺序I/O读 *** 作最多能读取的数据块块数。该参数的默认值随 *** 作系统的不同而不同。在全表扫描或者索引快速扫描比较多的系统中(如DSS系统),建议将该值设置得较大。但是DB_FILE_MULTIBLOCK_READ_COUNT参数受 *** 作最大单次I/O大小的限制,大多数 *** 作系统单次读 *** 作的大小不能超过1MB,这也就意味着在8KB数据块大小的情况下,该参数最大值为128。值得一提的是,该参数的大小还会影响Oracle CBO对执行计划的评估,如果设成较大值,Oracle的执行计划倾向于全表扫描。当该参数设置为0或者保持默认时,CBO假设全表扫描时最多能连续读取8个数据块。从Oracle 11R2开始,DB_FILE_MULTIBLOCK_READ_COUNT的取值算法如下:

db_file_multiblock_read_count = min(1048576/db_block_size , db_cache_size/

(sessions db_block_size))

注意 数据库参数BLOCK_SIZE在设定之后,在数据库生命周期内不可更改。

当执行SELECT语句时,如果在内存里找不到相应的数据,就会从磁盘读取进而缓存至LRU末端(冷端),这个过程就叫物理读。当相应数据已在内存,就会逻辑读。我物理读是磁盘读,逻辑读是内存读;内存读的速度远比磁盘读来得快。

下面将本人大数据分区设计截图,为大家参考学习。

先贴俩图镇镇场。

引言

对于内连接,使用单个查询是有意义的,因为你只获得匹配的行。

对于左连接,多个查询要好得多。

数据说话

看看下面的基准测试:

5个连接的单个查询

一行5个查询

注意,我们在两种情况下得到了 相同的结果 (6 x 50 x 7 x 12 x 90 = 2268000)

总结一下

对于冗余数据,左连接使用更多的内存。

如果只执行两个表的连接,那么内存限制可能没有那么糟糕,但通常是三个或更多的表,因此值得进行不同的查询。

写在最后

用过Laravel吗?还记得 Eloquent ORM模型吗?

不知道有没有注意到,debug所打印出来的多表联合查询,

都是拆分为“单个表查询”,然后使用PHP处理的。

Happy coding :-)

是做表连接查询还是做分解查询要具体情况具体分析。

如果数据库的结构合理,索引设计得当,表连接的效率要高于分解查询。比如,在有外键的时候,数据库可以为外键建表并建立索引从而提升多个表连接查询的效率。另外,多表连接查询不需要把数据传输到应用程序中,直接在数据库端执行,这在很大程度上提升了效率。

但是多表连接也有一些缺点。多表连接对表结构的依存度很高,只要表结构出现变更就会同时对数据库检索和应用处理两个部分产生较大影响。另外,多表连接的兼容性不好,数据库不同SQL文也多少有些差异。而且采用分散数据库的时候,实现多表连接即麻烦又没有什么好处。因此,一些大型系统或者是支持多种类数据库的系统一般不会使用多表连接,而倾向于采用分解查询。

这个得看情况,一般数据不大的情况下多表连接查询和多次单表查询的效率差不多。如果数据量足够大,那肯定是多次单表查询的效率更高。在很多大的公司里面,都会禁用多表连接查询,原因就是一旦数据量足够大的时候多表连接查询效率会很慢,而且不利于分库分表的查询优化。那么看一下下面这个例子。

两种查询方式的比较

我这里有一个数据库,我们拿里面的客户表和地区表做两种查询的对比。用户表数据是31万条,地区表3511条。

1 使用连表查询成都市的客户总数

2使用多次单表查询客户总数

可以看到,查询出来的结果都是一样,但是第一种的连表查询用了067秒中,而第二种多次单表查询一共用时014秒。这个对比已经是很明显了吧。

虽然这只是一个很简单的例子,但是对比结果是非常明显的。在实际应用中可能会更复杂、数据更多,如果还使用连表查询时非常慢的,而且还消耗服务器资源。

所以现在在很多大了公司明确要求禁止使用join查询,比如阿里、腾讯就明确规定禁用三表以上的join查询。

总结一下,单表查询的优点

1 多次单表查询,让缓存的效率更高。

许多应用程序可以方便地缓存单表查询对应的结果对象。另外对于MySQL的查询缓存来说,如果关联中的某个表发生了变化,那么就无法使用查询缓存了,而拆分后,如果某个表很少改变,那么基于该表的查询就可以重复利用查询缓存结果了。

2 将查询分解后,执行单个查询可以减少锁的竞争。

3 在应用层做关联,更容易对数据库进行拆分,更容易做到高性能和可扩展。

4 查询本身效率也可能会有所提升。

5 可以减少冗余记录的查询。

6 在应用中实现了哈希关联,而不是使用MySQL的嵌套环关联,某些场景哈希关联的效率更高很多。

7 单表查询有利于后期数据量大了分库分表,如果联合查询的话,一旦分库,原来的sql都需要改动。

8 很多大公司明确规定禁用join,因为数据量大的时候查询确实很慢

所以在数据量不大的情况下,两种方式的查询都没什么明显的差别,使用多表连接查询更方便。但是在数据量足够大几十万、几百万甚至上亿的数据,或者在一些高并发、高性能的应用中,一般建议使用单表查询。

如果觉得笨猫的回答对你有用,点个关注,非常感谢。

做java的,在orm框架下,分解查询是最符合面向对象 *** 作的,挺支持分解查询的(拙见)

先说结论:不一定。

多表查询效率低的时候,可以考虑拆解sql成多个小的sql,至于效率是否一定会提高,这个还不一定,具体问题具体问题。当多表查询效率低的时候,拆解成单个小sql,这只是一个可能的思路,起不起作用,不一定。

sql是一个很复杂的东西,sql引擎会分析执行计划,并可能按照他认为最优的执行计划执行sql,但他认为的也不一定是正确的。不同的sql执行计划不一样,所以很难断定sql拆解或者合并的效率。

说了这么多,那到底是多表联合查询还是拆解呢?有没有一个原则? 有!如果你确定你的单个sql的执行效率比较快,当然可以写多个单个sql。当然了,具备这个能力需要你对数据库足够了解,比如什么时候走索引,什么时候nested loop等等。如果你现在的多表联合查询比较慢,你需要找出来慢的原因,并分析拆解后的sql的执行计划,看是否避免了多表联合查询的效率问题。

总之吧。这个问题,只能给你一个大体的思路,因为牵扯到很多基础问题,我觉得最起码sql执行计划应该需要了解,一个sql可能的执行计划有几十中,复杂sql的执行计划又是这几十种的组合。哪种效率低,哪种效率高应该有个大体了解。

多表查询可以很快,也可以很慢。主要看执行计划。

单次肯定是多表连接查询的效率高,但多次单表查询的吞吐量高,而且容易优化,例如分库分表,使用缓存减少DB访问次数等等,所以在大数据量高并发场景通常使用多次单表查询的方式。另外,不管是单表还是多表连接查询,SQL的执行时间和数据量、并发量都有很大关系,和扫描的数据行数也很有关系。如果一条SQL,平时执行一次要2秒,10个并发时,系统可能一点问题都没有,1000个并发时,数据库可能就被拖死了。我们组之前碰到过好几次这种问题,一张只有几万条数据的表,因为忘记加索引,平时执行只有几百毫秒,高峰期直接飙到几十秒,DB差点被拖垮。

单纯从效率来讲,join的表不太多时,join效率比较高。但是占用的主要是数据库服务器的资源。数据库资源又是个瓶颈,不易横向扩展。所以在数据量大的时候,我们会采用单表查询,把循环和匹配等大量工作移到应用服务器上。应用服务器容易扩展,对并发支持更好。

当数据量大到千万级以上,就建议尽可能减少join,鼓励使用单表查询。查询优化比较容易。这时候使用join的一个大型查询就可能花很久,对其他查询造成阻塞,导致服务不可用。

当考虑单表查询后,就会衍生一系列的策略,比如冷热数据分离,将热数据和 历史 数据分离,大幅降低数据量级以提高热数据查询性能,并可以使用内存缓存。这样又促使你考虑引入微服务架构。

总结,数据量小,查询并发少,那么使用join的性能是可控的,开发成本低。当数量级上升到千万级且不断增加,尽早考虑向单表查询切换,否则可能有性能下降会导致系统奔溃。而且性能下降不是线性的,会陡降。

以上就是关于SQL连表查询跟一个个表查询那个快各有什么优点和缺点全部的内容,包括:SQL连表查询跟一个个表查询那个快各有什么优点和缺点、SQL连表查询跟一个个表查询那个快各有什么优点和缺点、基于文件的影像数据库管理方式的优缺点等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9683160.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-30
下一篇 2023-04-30

发表评论

登录后才能评论

评论列表(0条)

保存