SQL语句在数据库中是怎样执行的(sql怎么执行语句)

第一步：应用程序把查询SQL语句发给服务器端执行

我们在数据层执行SQL语句时，应用程序会连接到相应的数据库服务器，把SQL语句发送给服务器处理。

第二步：服务器解析请求的SQL语句

SQL计划缓存，经常用查询分析器的朋友大概都知道这样一个事实，往往一个查询语句在第一次运行的时候需要执行特别长的时间，但是如果你马上或者在一定时间内运行同样的语句，会在很短的时间内返回查询结果。原因是：

服务器在接收到查询请求后，并不会马上去数据库查询，而是在数据库中的计划缓存中找是否有相对应的执行计划。如果存在，就直接调用已经编译好的执行计划，节省了执行计划的编译时间。

如果所查询的行已经存在于数据缓冲存储区中，就不用查询物理文件了，而是从缓存中取数据，这样从内存中取数据就会比从硬盘上读取数据快很多，提高了查询效率。数据缓冲存储区会在后面提到。

如果在SQL计划缓存中没有对应的执行计划，服务器首先会对用户请求的SQL语句进行语法效验，如果有语法错误，服务器会结束查询 *** 作，并用返回相应的错误信息给调用它的应用程序。

注意：此时返回的错误信息中，只会包含基本的语法错误信息，例如select写成selec等，错误信息中如果包含一列表中本没有的列，此时服务器是不会检查出来的，因为只是语法验证，语义是否正确放在下一步进行。

语法符合后，就开始验证它的语义是否正确。例如，表名、列名、存储过程等等数据库对象是否真正存在，如果发现有不存在的，就会报错给应用程序，同时结束查询。

接下来就是获得对象的解析锁，我们在查询一个表时，首先服务器会对这个对象加锁，这是为了保证数据的统一性，如果不加锁，此时有数据插入，但因为没有加锁的原因，查询已经将这条记录读入，而有的插入会因为事务的失败会回滚，就会形成脏读的现象。

接下来就是对数据库用户权限的验证。SQL语句语法，语义都正确，此时并不一定能够得到查询结果，如果数据库用户没有相应的访问权限，服务器会报出权限不足的错误给应用程序，在稍大的项目中，往往一个项目里面会包含好几个数据库连接串，这些数据库用户具有不同的权限，有的是只读权限，有的是只写权限，有的是可读可写，根据不同的 *** 作选取不同的用户来执行。稍微不注意，无论你的SQL语句写的多么完善，完美无缺都没用。

解析的最后一步，就是确定最终的执行计划。当语法、语义、权限都验证后，服务器并不会马上给你返回结果，而是会针对你的SQL进行优化，选择不同的查询算法以最高效的形式返回给应用程序。例如在做表联合查询时，服务器会根据开销成本来最终决定采用hashjoin,mergejoin，还是loopjoin，采用哪一个索引会更高效等等。不过它的自动化优化是有限的，要想写出高效的查询SQL还是要优化自己的SQL查询语句。

当确定好执行计划后，就会把这个执行计划保存到SQL计划缓存中，下次在有相同的执行请求时，就直接从计划缓存中取，避免重新编译执行计划。

第三步：语句执行

服务器对SQL语句解析完成后，服务器才会知道这条语句到底表态了什么意思，接下来才会真正的执行SQL语句。

此时分两种情况：

如果查询语句所包含的数据行已经读取到数据缓冲存储区的话，服务器会直接从数据缓冲存储区中读取数据返回给应用程序，避免了从物理文件中读取，提高查询速度。

如果数据行没有在数据缓冲存储区中，则会从物理文件中读取记录返回给应用程序，同时把数据行写入数据缓冲存储区中，供下次使用。

说明：SQL缓存分好几种，这里有兴趣的朋友可以去搜索一下。有时因为缓存的存在，使得我们很难马上看出优化的结果，因为第二次执行因为有缓存的存在，会特别快速，所以一般都是先消除缓存，然后比较优化前后的性能表现，这里有几个常用的方法：

1DBCC

2从缓冲池中删除所有清除缓冲区。

3DBCC

4从过程缓存中删除所有元素。

5DBCC

6从所有缓存中释放所有未使用的缓存条目。

SQLServer2005数据库引擎会事先在后台清理未使用的缓存条目，以使内存可用于当前条目。但是，可以使用此命令从所有缓存中手动删除未使用的条目。

这只能基本消除SQL缓存的影响，目前好像没有完全消除缓存的方案，如果大家有，请指教。

执行顺序：

FROM子句返回初始结果集。

WHERE子句排除不满足搜索条件的行。

GROUPBY子句将选定的行收集到GROUPBY子句中各个唯一值的组中。

选择列表中指定的聚合函数可以计算各组的汇总值。

此外，HAVING子句排除不满足搜索条件的行。

计算所有的表达式；

使用orderby对结果集进行排序。

查找你要搜索的字段。

Copyright © 1999-2020, CSDNNET, All Rights Reserved

Redis

登录

骑行天下_徐鑫

关注

redis和MongoDB比较 转载

2019-07-02 22:00:52

1点赞

骑行天下_徐鑫

码龄3年

关注

Redis技术陷阱

Redis 基于内存，也可以基于磁盘持久化NoSql数据库，使用 c语言编写，常用端口6379

Redis对内存依赖性很强的NoSql数据库，在内存足够的情况下性能出色，但是一般情况下，服务器内存并没有那么多。

一般情况下，Redis会索取大量服务器内存进行存储数据，以达到快速读取查询的效果。当对Redis插入数据后，redis会异步将数据dump到硬盘中，

比如服务器内存是20G，Redi会fork一个进程，并且会占用同样的大小内存，他需要的内存空间瞬间变为20+20=40G，这是内存超过了物理内存的限制，马上会启动虚拟内存，虽然服务器会有虚拟内存，但是那是服务器的虚拟内存，并不是redis自己的虚拟内存。

Linux虚拟内存page很大，IO剧增，dump速度非常慢，整个服务器的性能降到冰点，服务请求会堵塞，严重到服务器崩溃。

对于单台机子，最好是降低redis虚拟内存设置，page可以根据配置进行修改，这个虚拟内存比Linux虚拟内存好多，因为page小很多。

如果Redis既要读又要写，那么最好不要用redis占用大半的内存。

可以设置它的虚拟内存到8G,但是要根据key值大小去衡量，因为key必须在内存中，这样一来就算是启用了虚拟内存，redis占用的实际内存也会超出设想。

官方建议对key小，value很大的数据设置虚拟内存。

另外master/slave不是很成熟，目前只支持主从，Redis在master是非阻塞模式，也就是说在slave执行数据同步的时候，master是可以接受客户端的请求的，并不影响同步数据的一致性，然而在slave端是阻塞模式的，slave在同步master数据时，并不能响应客户端的查询。

可以根据master/slave 的特点，master不dump,只负责写数据，让slaver去dump

Redis如何持久化：持久化就是将内存中的数据写入到硬盘中。

（1）：RDB：是将数据写入到临时文件（dumprdb）,持久化之后用这个临时文件替换上次持久化文件，达到数据恢复的目的。RDB是间隔异地短时间进行持久化，如果持久化之间redis发生故障，会发生数据丢失，所以这种方式更适合数据要求不严谨的时候，默认开启。

（2）：Redis内存淘汰策略：指的是用户存储的一些键可以被redis主动从实例中删除，从而产生miss的情况，内存淘汰是为了更好地使用内存，用一定的缓存miss来换取内存的使用率。① noeviction:默认策略，不删除任意数据，但是内存不够时，会直接返回错误

② Allkeys-lru:从数据集中(包括设置过期时间和未设置过期时间的数据集)，优先移除最近未使用的key

③ Volatile-lru:在设置了过期时间的数据集中，优先移除最近未使用的key

④ Allkeys-random:从数据集中(包括设置过期时间和未设置过期时间的数据集)，随机移除某个key

⑤ Volatile-random:在设置了过期时间的数据集中，随机移除某个key

Volatile-ttl:在设置了过期时间的数据集中，具有更早过期时间的key优先移除。

Redis有些数据类型：String Hash List Sets ZSets(存放多个值，不可有重复，有顺序，不同的是每个元素都会关联Double类型的分数，redis正是通过分数来为集合中的成员进行从小到大排序)，

Redis使用场景：

缓存热数据使用，热数据就是在项目中经常会被查询，但不经常会被修改和删除的数据。

计数器，诸如统计点击数等应用。

队列

位 *** 作（大数据处理），比如统计QQ用户在线。

最新列表

排行榜，使用zadd添加有序集合

Linux虚拟内存：

为了运行比实际物理内存容量还要大的程序，包括Linux在内的所有现代 *** 作系统几乎毫无里外都采用了虚拟内存技术。虚拟内存技术，可让系统看上去具有比实际意义内存大得多的内存空间，并为实现多道程序的执行创造条件。

虚拟内存概念：总所周知，为了对内存中的存储单元进行识别，内存中的每一个存储单元都必须有一个确切的地址。而一台计算机的处理器能访问多大的内存空间就取决于处理器的程序计数器，该计数器字长越长，能访问的空间越大。

例如对于程序计数器位数为32位的处理器来说，他的地址发生器所能发出的地址数目2^32=4G个，于是这个处理器所能访问的最大内存空间就是4G。载计算机技术中，这个值就是处理器的寻址空间或寻址能力。

MongoDB

文档结构的存储方式。能够快捷获取数据

支持GridFS 支持大容量存储，海量数据存储

海量数据下，性能优越

动态查询

全索引支持，拓展到内部对象和内嵌数组

查询记录分析

快速，就地更新

高效存储二进制大对象

复制和支持自动恢复故障

内置Auto-Sharding 自动分片支持云级别拓展性。分片简单

MapReduce 支持复杂聚合

缺点：不支持事务 *** 作，占用硬盘空间大，没有Mysql成熟的维护工具，无法进行关联表查询，不适用于关系多的数据，复杂句和 *** 作通过mapreduce创建，速度慢，模式自由，自由灵活的文件存储格式带来的数据错误，MongoDB在你删除记录后不会在文件系统回收空间，除非删掉数据库，但是空间没有浪费。

分布式文件存储数据库，介于NoSql和关系型数据库之间的一款产品，基于C++编写，具有查询语言、索引、key-value存储结构，MongoDB存储数据是以BSON类型（二进制json）。

Redis(读写快) ---àMongoDB （数据量大、查询统计、缺乏事务支持）àOracle（数据量大、查询统计方便、事务强）

MongoDB适用于表单数据 *** 作、完整性要求不高的系统使用，高性能、易部署、易使用，存储数据非常方便。MongoDB ：库->集合 JSON对象记录

区别联系：

（1）：性能方面：Redis大于MongoDB、MongoDB支持丰富的数据表达，索引，最类似于关系型数据库，支持查询的语言非常丰富，redis数据结构方面更加丰富，可以存储List/set/Hash/sort Set等集合。

（2）：内存空间和数据量大小： MongoDB适合大量数据存储

（3）：数据一致性 Redis事务支持比较弱，MongoDB不支持事务

(4):Redis用在数据量较小的 *** 作和运算上，Mongodb主要解决海量数据访问效率问题。

（5）MemCachd 不支持数据持久化，断电或者重启后数据消失，但其稳定性是有保证的，redis支持数据持久化和数据恢复，允许单点故障

1Memcached单个key-value大小有限，一个value最大只支持1MB，而Redis最大支持512MB

2Memcached只是个内存缓存，对可靠性无要求；而Redis更倾向于内存数据库，因此对对可靠性方面要求比较高

3从本质上讲，Memcached只是一个单一key-value内存Cache；而Redis则是一个数据结构内存数据库，支持五种数据类型，因此Redis除单纯缓存作用外，还可以处理一些简单的逻辑运算，Redis不仅可以缓存，而且还可以作为数据库用

4新版本（30）的Redis是指集群分布式，也就是说集群本身均衡客户端请求，各个节点可以交流，可拓展行、可维护性更强大。

关于其原因，在官方的FAQ中，提到有如下几个方面：

1、空间的预分配：为避免形成过多的硬盘碎片，mongodb每次空间不足时都会申请生成一大块的硬盘空间，而且申请的量从64M、128M、256M那 样的指数递增，直到2G为单个文件的最大体积。随着数据量的增加，你可以在其数据目录里看到这些整块生成容量不断递增的文件。

2、字段名所占用的空间：为了保持每个记录内的结构信息用于查询，mongodb需要把每个字段的key-value都以BSON的形式存储，如果 value域相对于key域并不大，比如存放数值型的数据，则数据的overhead是最大的。一种减少空间占用的方法是把字段名尽量取短一些，这样占用 空间就小了，但这就要求在易读性与空间占用上作为权衡了。

3、删除记录不释放空间：这很容易理解，为避免记录删除后的数据的大规模挪动，原记录空间不删除，只标记“已删除”即可，以后还可以重复利用。

4、可以定期运行dbrepairDatabase()来整理记录，但这个过程会比较缓慢

MongoDB没有如MySQL那样成熟的维护工具，这对于开发和IT运营都是个值得注意的地方。

问题一：什么是数据库连接池，有什么作用？ 数据库连接是一种有限的昂贵的资源，

数据库连接影响到程序的性能指标。

数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、

管理和释放数据库连接，

它允许应用程序重复使用一个现有的数据库连接，

而再不是重新建立一个；

释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数

据库连接而引起的数据库连接遗漏。

这项技术能明显提高对数据库 *** 作的性能。

问题二：什么是数据库连接池？谢谢了 数据库连接池，简称dbcp databa绩e connection pool

存在意义：

数据库的连接是非常耗费系统资源的，一个应用通常都是需要与数据库打交道，也就需要经常连接数据库，这样导致浪费大量系统资源；

连接池的原理就是：我事先创建好几个数据库连接放着，当我的系统需要 *** 作数据库时就从连接池里直接拿连接，并将这个连接标记为 忙 ；用完后在放会池中，标记为 空闲；；；

当连接池里的连接都在被使用，如果此时还要连接，连接池就会在创建连接放到池里，，这些连接的数量，都是在配置文件里由你控制的

问题三：数据库连接池是什么意思？ 像打开关闭数据库连接这种和数据库的交互可能是很费时的，尤其是当客户端数量增加的时候，会消耗大量的资源，成本是非常高的。可以在应用服务器启动的时候建立很多个数据库连接并维护在一个池中。连接请求由池中的连接提供。在连接使用完毕以后，把连接归还到池中，以用于满足将来更多的请求。

问题四：数据库连接池的工作机制是什么 为什么要使用数据库连接池？

答：

由于创建连接的代价是很高的, 我们每次访问数据库都重新创建连接的话是非常消耗性的

我们可以再程序启动的时候先创建出一些连接, 放在一个 中, 访问数据库的时候从 中获取, 使用结束再放回 中

这样做只是在程序启动的时候消耗性能去创建连接, 每次访问数据库的时候都是从内存中获取连接, 可以大大提升效率

注意事项:

由于池中增删非常频繁, 使用 LinkedList效率较高

中所有连接都被占用时创建新连接, 但需要注意连接总数

使用组合模式/动态代理处理释放连接的方法, 当运行close方法时, 将连接放回池中

关于数据库连接池：

数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。

数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库 *** 作的性能。

数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被 使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超 过最大连接数量时，这些请求将被加入到等待队列中。

数据库连接池的最小连接数和最大连接数的设置要考虑到下列几个因素：

1) 最小连接数是连接池一直保持的数据库连接，所以如果应用程序对数据库连接的使用量不大，将会有大量的数据库连接资源被浪费；

2) 最大连接数是连接池能申请的最大连接数，如果数据库连接请求超过此数，后面的数据库连接请求将被加入到等待队列中，这会影响之后的数据库 *** 作。

3) 如果最小连接数与最大连接数相差太大，那么最先的连接请求将会获利，之后超过最小连接数量的连接请求等价于建立一个新的数据库连接。不过，这些大于最小连接数的数据库连接在使用完不会马上被释放，它将被放到连接池中等待重复使用或是空闲超时后被释放。

J2EE服务器启动时会建立一定数量的池连接，并一直维持不少于此数目的池连接。

调用：客户端程序需要连接时，池驱动程序会返回一个未使用的池连接并将其表记为 忙。如果当前没有空闲连接，池驱动程序就新建一定数量的连接，新建连接的数量有配置参数决定。

释放：当使用的池连接调用完成后，池驱动程序将此连接表记为空闲， 其他调用就可以使用这个连接

问题五：数据库连接池的作用是什么？ 连接池是被j2ee服务器打开和维护的 对应1、2、4的JDBC驱动程序 连接池一般比直接连接更有优越性 因为它提高了性能的同时还保存了 宝贵的资源。 打开数据库连接时CPU和网络的重要 任务，因此，在整个应用程序的使用过程 当中重复的打开直接连接将导致性能的下降。 而池连接只在服务器启动时打开一次，从而 消除了这种性能问题。 另外，因为连接只用于很短的时间， 所以，连接可以被有效共享， 而且有关连接参数的特有信息， 只对池驱动程序有效， 如数据库用户名称和密码， 从而增强了系统的安全性和可管理性。

问题六：数据库连接池的工作机制是什么 连接池的实现是以空间换时间。

J2EE服务器启动时会建立一定数量的池连接，并一直维持不少于此数目的池连接。客户端程序需要连接时，池驱动程序会返回一个未使用的池连接并将其表记为忙。如果当前没有空闲连接，池驱动程序就新建一定数量的连接，新建连接的数量有配置参数决定。当使用的池连接调用完成后，池驱动程序将此连接表记为空闲，其他调用就可以使用这个连接。

问题七：数据库连接池的作用是什么？ 连接池是被j2ee服务器打开和维护的

对应1、2、4的JDBC驱动程序

连接池一般比直接连接更有优越性

因为它提高了性能的同时还保存了

宝贵的资源。

打开数据库连接时CPU和网络的重要

任务，因此，在整个应用程序的使用过程

当中重复的打开直接连接将导致性能的下降。

而池连接只在服务器启动时打开一次，从而

消除了这种性能问题。

另外，因为连接只用于很短的时间，

所以，连接可以被有效共享，

而且有关连接参数的特有信息，

只对池驱动程序有效，

如数据库用户名称和密码，

从而增强了系统的安全性和可管理性。

问题八：开源的数据库连接池和普通的数据库连接池有什么区别 在项目中尝试使用了几种开源的数据库连接池实现。一种是dbcp，一种是c3p0，还有一种是proxool，这几种数据库连接池都可以很容易的在Spring配置起来。性能总体上上感觉dbcp为最优，因为稳定性和并发性都是我的项目需要的。

项目中经过反复测试，如果web server和数据库server不是同一个机器的话，在断网时间比较短的时间内三种数据库连接池都能较好的重连，但是在断网时间超过8个钟头 proxool就不能恢复工作了。但是dbcp却能很快的重新连接。实际生产环境中稳定性和总体性能是最重要的，都需要做相应的测试才能放心的让系统上生产线。

这里给出项目中数据库连接池配置：

dbcp的jndi：13 4 java:p/env/jdbc/mysql5 6 proxool(proxool-090RC1)的配置： mysqljdbcDriver jdbc:mysql:ip:3306/dbnameuseUnicode=true&characterEncoding=utf8&autoReconnect=true user password 500 15000 select CURRENT_DATE true mysqlProxoolDataSource 1000 false 建议使用DBCP，配置在tomcat中，然后在spring中使用jndi的形式获取。 c3p0(c3p0-090)： 1 3 4 mysqljdbcDriver 5 6 7 jdbc:mysql:1921680225:3306/sendinmdbuseUnicode=true&characterEncoding=utf8&autoReconnect=true 8 9 10 11 12 13 14 15 16 10017 18 19 5020 21 22 10023 24 25 100026 27 28 3029 30 直接copy & paste到spring配置文件里就可以使用了。 配置一些额外的tomcat 的DBCP连接池参数，也可以更好的使用到类似proxool提供的功能，只是dbcp更加稳定而已。tomcat/conf/contextxml中插入一个Resource元素： 解释一下以下这些参数的含义：

validationQuery = select current_date()

testOnBorrow = true

testOnReturn = false

testWhileIdle = true

当 从池中获取一个Connection后使用 select current_date() 来测试该数据库连接的可用性，如果SQL语句返回结果则认为是一个有效的连接，否则将继续测试知道可以拿到有效的连接。当返回Connection给池的时候不进行验证，但是Connection空闲的时候就要进行认证。

timeBetweenEvictionRunsMillis = 15000

DBCP 清空线程睡眠的间隙，如值为负数则不运行该线程

numTestsPerEvictionRun = 10">>

问题九：sqlite 使用什么数据库连接池 数据库连接是一种有限的昂贵的资源，

数据库连接影响到程序的性能指标。

数据库连接池正是针对这个问题提出来的。数据库连接池负责分配、

管理和释放数据库连接，

它允许应用程序重复使用一个现有的数据库连接，

而再不是重新建立一个；

释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数

据库连接而引起的数据库连接遗漏。

这项技术能明显提高对数据库 *** 作的性能。

问题十：说出数据连接池的工作机制是什么 以典型的数据库连接池为例：首先普通的数据库访问是这样的：程序和数据库建立连接，发送数据 *** 作的指令，完成后断开连接。等下一次请求的时候重复这个过程，即每个请求都需要和数据库建立连接和断开连接，这样当数据量大的时候系统的消耗是很大的。连接池就是为了解决这个问题：在一个空间中预先建立好一定数量的连接，当程序请求数据时直接使用池中的现存的连接，不需要重复建立连接和断开的过程，节省了时间提高了性能

违反了主键约束，主键不能插入重复值。看看要导入的数据是不是出现重复了，或要导入的数据中与表中已存在的数据重复了。必须去除重复才能插入。

SQL数据库的数据体系结构基本上是三级结构，但使用术语与传统关系模型术语不同。在SQL中，关系模式(模式)称为“基本表”(basetable)；

存储模式(内模式)称为“存储文件”(storedfile)；子模式(外模式)称为“视图”(view)；元组称为“行”(row)；属性称为“列”(column)。名称对称如^00100009a^。

扩展资料：

本地临时表

以一个井号 (#) 开头的表名。只有在创建本地临时表连接是才能看得到，连接断开时临时表立马被删除，也就是到货本地临时表为创建它的该链接的会话所独有，或者说局部临时表是有当前用户创建的，并且只有当前用户的会话才可以访问。

全局临时表

以两个井号 (##) 开头的表名。在所有连接上都能看到全局临时表，也就是说只要全局临时表存在，那么对所有创建用户的会话后都是可见的。如果在创建全局临时表的连接断开前没有显式地除去全局临时表，那么只能等到其它所有任务都停止引用，这些表才会被删除。

以上就是关于SQL语句在数据库中是怎样执行的(sql怎么执行语句)全部的内容，包括:SQL语句在数据库中是怎样执行的(sql怎么执行语句)、Redis数据库跟MongoDB数据库有什么区别呢、数据库连接池是什么等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！