mysql 类似oracle parallel的多线程查询

1）查询表中的前8条记录

select from area where rownum <= 8

查询结果如下：

2）查询第2到第8条记录

对于这种形式的查询，oracle不像mysql那么方便，它必须使用子查询或者是集合 *** 作来实现。我们可以使用以下3种方式可以实现：

A: select id,province,city,district from (select id,province,city,district,rownum as num from area) where num between 2 and 8;

首先根据select id,province,city,district,rownum as num from area得到一个临时表，这个临时表中有一个rownum列（一个伪列，类似与rowid，但又不同于rowid，因为rowid是物理存在的一个列，也就是说Oracle数据库中任何一个表都有一个rowid列，而rownum不是物理存在的），然后在临时表中来查询。

B: select from area where rownum <= 8 minus select from area where rownum < 2;

使用集合减运算符minus，该 *** 作返回在第一个select中出现而不在第二个select中出现的记录。

C: select id,province,city,district from (select id,province,city,district,rownum as num from area) where num >=2

intersect

select from area where rownum <= 8;

使用集合交运算符intersect，这里绕了一个弯（不过这个弯实现了rownum大于某个数的查询），它是首先利用A的方式查询得到所有rownum大于2的记录，然后再与rownum小于等于8的记录集合做交运算。三种 *** 作得到的结果一样，如下图所示：

3）rownum需要注意的问题

[1] rownum不支持以下方式的查询

a: select from area where rownum > 2;

b: select from area where rownum = n; –where n is a integer number lager than 1

注：rownum只支持select from area where rownum =1的查询。Oracle的官方文档说明如下：

Conditions testing for ROWNUM values greater than a positive integer are always false

For example, this query returns no rows:

SELECT FROM employees

WHERE ROWNUM > 1;

The first row fetched is assigned a ROWNUM of 1 and makes the condition false The

second row to be fetched is now the first row and is also assigned a ROWNUM of 1 and

makes the condition false All rows subsequently fail to satisfy the condition, so no

rows are returned

因为rownum是根据查询的结果集来对记录进行编号，所以当你查询rownum大于2的记录时会得到一个空的结果集。因为当oracle查询得到第1条记录时，发现rownum为1不满足条件，然后就继续查询第2条记录，但此时第2条记录又被编号为1（也即rownum变为1），所以查询得到的始终是rownum=1，因此无法满足约束，最终查询的结果集为空。

[2] rownum的排序查询问题

Rownum的排序查询是根据表中数据的初始顺序来进行的。Oracle官方文档中说明如下：

If an ORDER BY clause follows ROWNUM in the same query, then the rows will be

reordered by the ORDER BY clause The results can vary depending on the way the

rows are accessed For example, if the ORDER BY clause causes Oracle to use an index

to access the data, then Oracle may retrieve the rows in a different order than without

the index

例如：select from area where rownum <= 8 order by district;

其结果如下图所示：

发现没有，它只对area表中的前8条记录进行排序。那么，如果我要取表中的前8条记录并且要求是全表有序，那怎么办呢？还是老办法，使用子查询。我们可以使用以下语句得到：

select from (select from area order by district)

where rownum <= 8;

查询的结果如下图所示：

结束语:

Oracle中的rownum与mysql的limit实现的功能相同，但没有mysql来的容易，它一般通过一个子查询来实现。mysql的易用性也是它能够纵横开源数据库的原因，它不像postgresql那样的学院派，它的那种简单易用性或许在大型软件项目的开发中值得借鉴。最近听说sql server 2008也实现了limit的查询，不过还没去试过，Oracle在这方面也要加油啊，用户容易使用才是王道

并发（concurrent）和并行（parallel）这两个概念，在数据库系统的资料中经常出现，然而有关它们的定义和区别却没有明确的说法。这里，我们根据这两个概念在资料中的使用，对它们的不同做一个说明。

并发是指多个任务的同时执行，任务与任务之间没有联系。由于数据库系统要同时为许多用户提供服务，每个用户都可以发出自己的访问请求，一个请求就是一个任务。在一个时间点，数据库系统可能要同时处理多个任务。因此，数据库系统一定要具备并发处理能力。

并行是指将一个任务划分为多个子任务，这些子任务同时执行。在所有子任务处理完成后，将它们的结果进行合并，就得到该任务的最终处理结果。在数据库系统中，如果要执行一个大的数据查询，为了提高速度、降低响应时间，用户可以通过系统配置或者在命令中，要求对该大数据量查询进行并行处理，将该查询划分成多个子查询。这些子查询同时执行，最后系统将所有子查询的处理结果进行合并，作为该查询处理的最终结果。现有的大型数据库系统都支持并行处理。

需要说明的是，并发和并行与数据库系统采用多进程还是多线程体系结构无关。对采用多进程结构的数据库系统，所有的任务、子任务通过进程来处理；而对采用多线程结构的数据库系统，这些工作是由线程来完成。

数据库系统的并发控制，涉及到任务的调度、数据的一致性及可靠性等，而数据库系统的并行处理，主要涉及任务的处理速度、系统性能等方面。

就新建个webservice项目，然后写个函数类似如下都行

        public void Up(XmlDocument doc)

        {

            //里面通过解析xml *** 作你自己的数据库

        }

        public XmlDocument Down()

        {

            //查询数据库并生成xml

            return new XmlDocument();

        }

如果XmlDocument他那边不能接收你就直接改成string类型也行。

顺便说下VS里新建WCF服务项目类型也可以实现类似web service的功能，而且更推荐。

数据库物理模型设计的目标是根据选定的Oracle数据库系统特点和航空物探数据管理与服务的业务处理需求，确定航空物探数据库最优的物理环境、存取方法和存储结构。即通过数据库物理设计，以便达到物理数据库结构的优化，使得在数据库上运行的各种事务响应时间少、存储空间利用率高、事务吞吐率大。

一、数据库布局

航空物探信息系统的维护数据（部门、岗位、人员、人员权限、数据入库检查规则及数据字典等）相对比较稳定。入库前数据需经过各种检查校对，确认数据正确后才能归档，存入航空物探资料数据库，所以存入资料库前的数据可能经常需要修改和删除，相对变化较大；而存入资料数据库中的数据一般不允许修改和删除，以免误 *** 作破坏资料库数据造成损失。

图2-12 航空物探数据库逻辑模型

图2-13 航空物探数据库布局与数据采集流程图

据此，我们采用图2-13所示的数据库数据采集流程，并将航空物探数据库分为资料采集数据库、资料数据库、系统维护数据库分别进行存储和管理，实现数据的统一管理和统一使用，便于数据入库和易于维护等。

航空物探资料数据库是航空物探所有数据最终存储的场所。资料采集数据库是数据归档存入资料数据库前的临时“集散地”，在此接收各项检查，在确认数据无误后归档到资料数据库，然后删除资料采集数据库中已归档的数据。此外，资料采集数据库中还保存数据入库、维护、检查日志及归档记录。

系统维护数据库，存储系统维护信息（如系统功能、数据库表清单等）、安全信息（如信息系统用户的角色、权限、授权的系统功能等），数据字典、入库数据检查规则等。将其与航空物探数据分开，有利于系统维护和管理。

二、数据库空间设置

数据库空间设置包括磁盘空间设置、应用系统表空间设置、撤销表空间、临时表空间、日志空间和索引空间设置。

（一）磁盘空间设置

磁盘空间设置的目标：磁盘性能不能阻碍实现数据库性能，数据库磁盘必须专用于数据库文件，否则非数据库将会影响到数据库性能，且磁盘空间必须满足恢复和性能的要求。

航空物探数据库服务器为IBM P620小型机，8块硬盘，每块硬盘36GB空间，每块物理磁盘建立一个文件系统。为了提高磁盘的反应时间和寻道时间，提高I/O的存取效率，除了一块硬盘用于UNIX *** 作系统外，其余7块磁盘分别存放资料采集数据库、系统维护数据库-日志文件，资料数据库及资料数据库的大字段数据、索引、回滚段和数据日志文件。

（二）应用系统表空间设置

信息系统数据采集过程对数据的事务 *** 作比较频繁，经常进行数据插入（新数据入库）、修改（入库数据有误）和删除 *** 作（数据重新导入或归档入库），因此航空物探资料采集数据库所在的表空间会很活跃。为了不影响其他I/O的竞争，同时也可以提高数据入库的 *** 作效率（50多年的历史数据需要集中入库），分配一个磁盘空间（36GB）为采集库的表空间。由于采集数据归档入资料库后被删除，同时进行数据入库的项目也不是很多，虽仍保留所有的采集日志数据，一个磁盘空间也足够使用。

航空物探资料数据库的二维表和Oracle大字段（BLOB）分别存放在不同的物理磁盘（每个磁盘36GB）上，对同时存在有表格数据和大字段数据的数据库表（如航迹线数据）时，可以提高磁盘I/O效率。随着数据入库的项目越来越多，需要增加相应的物理磁盘或磁盘阵列。

系统维护数据库相对稳定，占用磁盘空间约500 M左右。由于系统磁盘有限，把日志文件存放该磁盘中。

（三）撤销表和临时表空间的设置

在Oracle数据库中，撤销的目的是确保事务的回退和恢复。撤销参数有UNDO_MANAGEMENT、UNDO_TABLESPACE和UNDO_RETENTION。

UNDO_MANAGEMENT参数用于数据库中管理撤销数据的方式，航空物探数据库设置为自动模式（auto）。

UNDO_TABLESPACE参数用于指定数据库中保存撤销数据的撤销表空间名称，航空物探数据库撤销表空间名称为UNDO_ARGS_TBSPACE，空间大小设置为20GB，以确保在保留时间内进行恢复。

UNDO_RETENTION参数用于指定已经提交事务的撤销数据在能够覆盖之前应该保留多长时间，本数据库系统设置为60 min。

临时表空间是用以存储大量的排序，与撤销表空间存放在一个物理磁盘上，本数据库系统临时表空间设置为500 M。

（四）日志空间设置

日志的主要功能是记录对数据库已做过的全部 *** 作。在系统出现故障时，如果不能将修改数据永久地写入数据文件，则可利用日志得到该修改，所以不会丢失已有 *** 作结果。

日志文件主要是保护数据库以防止故障。为了防止日志文件本身的故障，航空物探数据库系统分别在一个独立磁盘和系统维护库磁盘中存放日志文件。若系统出现故障，在下次打开数据库时Oracle数据库系统自动用日志文件中的信息来恢复数据库文件。

根据航空物探数据库信息系统同时登录的用户数及使用的功能，将日志文件大小设置为10GB。

（五）索引表空间设置

为了提高航空物探信息系统的查询和统计速度，把所有索引空间与应用表空间完全分开，从而提高I/O存取效率。航空物探索引表空间大小设置为10GB。

聚集是表的一种存储方法，一般每个基本表是单独组织的，但对逻辑上经常在一起查询的表，在物理上也邻近存放，这样可减少数据的搜索时间，提高性能。

当几个关系（表）以聚集方式组织时，是通过公共属性的值为表聚集的依据。航空物探数据库系统是以项目标识（PROJ_ID）建立聚集的，所有涉及项目标识的数据库表直接引用项目标识聚集。航空物探聚集表空间与索引表空间相同。

三、数据库参数设置

在数据库创建前需要对如下数据库参数进行设置，航空物探参数文件名为Initoraargsora，各种参数设置如下：

航空物探信息系统建设

四、内存设置

航空物探数据库服务器物理内存为4GB，除部分用于系统开销外，其余全部用于数据库。

Oracle使用共享系统全局区（System Global Area，SGA）内存来管理内存和文件结构，包含DB_block_Buffers、DB_cache_size、Shared_pool_size、Log_Buffer参数。航空物探数据库系统的全局区内存参数设置如下。

DB_block_Buffers参数为SGA中存储区高速缓存的缓冲区数目，每个缓冲区的大小等于参数DB_block_size的大小，DB_block_Buffers=19200（约300 MB）。

Shared_pool_size参数为分配给共享SQL区的字节数，是SGA大小的主要影响者，Shared_pool_size=1228800000（12GB）。

DB_cache_size参数是SGA大小和数据库性能的最重要的决定因素。该值较高，可以提高系统的命中率，减少I/O，DB_cache_size=1024000000（1GB）。

Log_Buffer参数为重做日志高速缓存大小，主要进行插入、删除和修改回退 *** 作，Log_buffer=5120000（5MB）。

五、优化设置

由于航空物探信息系统的采集软件和应用软件是采用MSNET C＃进行开发的，应用程序与数据库之间的连接有传统的ODBC和OLE DB两种方式。为了支持ODBC在OLE DB技术上建立了相应的OLE DB到ODBC的调用转换，而使用直接的OLE DB方式则不需转换，从而提高处理速度。

在建立数据库表时，参数Pctfree和Pctused设置不正确可能会导致数据出现行链接和行迁移现象，即同一行的数据被保存在不同的数据块中。在进行数据查询时，为了读出这些数据，磁头必须重新定位，这样势必会大大降低数据库的执行速度。因此，在创建表时应充分估计到将来可能出现的数据变化，正确地设置这两个参数，尽量减少数据库中出现的行链接和行迁移现象。

航空物探资料采集数据库表的插入、修改和删除的频率较高，Pctfree设置为20，Pctused设置为40；系统维护数据库表相对稳定，Pctfree设置为10，Pctused设置为15；资料数据库表除了增加数据外基本不进行修改和删除 *** 作，Pctfree设置为10，Pctused设置为5。

六、扩展性设置

多CPU和并行查询PQO（Parallel Query Option）方式的利用：CPU的快速发展使得Oracle越来越重视对多CPU的并行技术的应用，一个数据库的访问工作可以用多个CPU相互配合来完成。对于多CPU系统尽量采用并行查询选项方式进行数据库 *** 作。航空物探数据库服务器为2个CPU，在程序查询中采用了并行查询的方式。

在航空物探工作量统计、飞行小时统计、测量面积统计和岩石物性统计中，为了加快统计效率，在相应的查询语句中增加了并行查询语句。

随着航空物探高精度测量程度的不断提高，测量数据将越来越大。为了满足航空物探查询效率及发展，将航磁测量数据与校正后航磁测量数据按比例尺分1∶20 万以下、20万～50万、1∶50万以上分别存放3张不同的数据库表。

七、创建数据库

在完成数据库布局、空间设置、内存设置、数据库参数设置、扩展性设置和优化设置后，进行航空物探数据库物理模型设计，即航空物探数据库实体创建。由于航空物探空间数据库逻辑模型是采用ESRI提供的ArcGIS UML构建的Geodatabase模型，因此，使用ESRI公司提供的CaseTools将航空物探数据UML模型图转成空间数据库（Geodatabase）实体（图2-14）。

航空物探属性数据库表（二维表）是采用Power Designer数据库设计平台直接把数据库关系模型生成数据库脚本来创建的。

经过数据库的概念设计、逻辑设计和物理设计，最终生成航空物探数据库。

图2-14 航空物探数据库物理模型实现

八、空间数据的索引机制

对于海量的空间数据库而言，数据库的 *** 作效率是关系到数据库成败的关键问题。为了提高数据的访问、检索和显示速度，数据在加载到数据库时，要素类数据建立了空间索引，栅格数据构建了金字塔结构，对象类数据采用与数据库直接联接的访问机制。

（一）空间索引

为了提高要素类数据的查询性能，在建立航空物探空间数据库时，创建了空间索引机制。常用的空间索引有格网索引、R树索引、四叉树索引等。Geodatabase采用格网索引方式。所谓格网索引是将空间区域划分成适合大小的正方形格网，记录每一个格网内所包含的空间实体（对象）以及每一个实体的封装边界范围，即包围空间实体的左下角和右上角坐标。当用户进行空间查询时，首先计算出用户查询对象所在格网，然后通过格网编号，就可以快速检索到所需的空间实体。

确定适合的格网级数、单元大小是建立空间格网索引的关键。格网太大，在一个格网内有多个空间实体，查询检索的准确度降低。格网太小，则索引数据量成倍增长和冗余，检索的速度和效率较低。数据库的每一数据层采用不同大小、不同级数的空间索引格网单元，但每层最多级数不能超过三级。格网单元的大小不是一个确定性的值，需要根据对象的大小确定。空间索引格网的大小与检索准确度之间的关系如图2-15所示。

选择格网单元的大小遵循下列基本原则：

1）对于简单要素的数据层，尽可能选择单级索引格网。减少RDBMS搜索格网单元索引的级数，缩短空间索引搜索的过程，例如航迹线要素类。

图2-15 索引格网大小与检索准确度的关系

2）如果数据层中的要素封装边界大小变化比较大，应选择2或3级索引格网。Geodatabase最多提供三级格网单元。每一要素封装边界在适合的级内，减少了每一封装边界有多个格网的可能性。在空间索引搜索过程中，RDBMS则必须搜索所有3个格网单元级，这将消耗大量的时间。

3）若用户经常对图层执行相同的查询，最佳格网的大小应是平均查寻空间范围的15倍。

4）格网的大小不能小于要素封装边界的平均大小，为了减少每个格网单元有多个要素封装边界的可能性，格网单元的大小应取平均格网单元的3倍。最佳格网单元的大小可能受图层平均查询的影响。

空间域是按照要素数据集定义的，空间索引格网是按照要素类设置的。它们都是在创建Geodatabase数据库时设置，并一经设置，中间不许改变；所以一定要在充分分析数据的情况下确定它们的值。航空物探数据主要是简单要素类，空间跨度为70°。根据上述原则，航空物探数据选择单级索引格网，格网大小为20°。

（二）金字塔结构

金字塔结构的核心是将栅格数据逐级进行抽稀，形成多级分辨率的重采样数据，并将其分割成块，按一定的文件格式（金字塔文件格式）存储成磁盘文件；在以后进行图像显示处理时，只需将要显示的部分所覆盖的块从磁盘文件直接读进内存缓冲区显示即可。从金字塔的所有层中寻找与所要求显示的比例相近或匹配的一层，并将该层的从某一点起的一定范围的图像所覆盖的所有块加载到内存缓冲区，提取所需部分并形成图像。

金字塔算法（图2-16）是通过获取显示时所需要的一定分辨率的数据来提高显示速度。使用金字塔数据格式后，在显示全图时仅需要显示一个较低分辨率的数据，这样既能加快显示速度，又不会影响显示效果。放大图像，尽管显示图像分辨率提高，由于显示区域减小，所以显示速度不会下降。如果没有为栅格数据建立金字塔数据，则每次显示都会读取整个数据，然后进行重采样得到显示所需要的分辨率，明显地降低了显示速度。

图2-16 金字塔压缩示意图

金字塔数据重采样方式有：最近邻法、双线性内插和立方卷积。其中最近邻法适用于离散数据，而双线性内插法和立方卷积法适合于连续数据。

在ArcGIS Engine中提供了IRasterPyramid和IRasterPyramid2接口来实现金字塔数据的建立，而建立的数据保存在rrd格式的文件中。

（三）空间域定义

空间域是指数据的有效空间范围，即Geodatabase数据库的最大等效坐标的值域范围，其定义主要是指比例系数和Min X、Min Y的计算。

因为使用整数比浮点数有更高的压缩率，并且对整数进行二进制搜索比较快，所以多用户Geodatabase以4字节正整数存储坐标，其最大值为32位正整数所能表示的范围是214亿（2147483647），整数的范围称为空间域。在创建Geodatabase数据库时需要定义合适的比例系数。大的整数值将消耗大量的计算机物理内存，所以选定的比例系数最好不要大于必须的比例系数。空间域随坐标系的单位变化而变化。

比例系数和空间域之间成反比例关系，比例系数越大（存储单位越小），表达的空间域也越小。为了使目标数据都存储在系统中，需要谨慎地设置比例系数。将目标数据的宽度和高度较适中的数值乘以比例系数，如果结果小于214亿，则比例系数是合适的。

航空物探数据模型是为我国的航空物探行业数据建库设计的，它支持的空间数据的坐标范围为我国领土覆盖的海陆空间，最低纬度为赤道。根据概念设计的分析，航空物探数据模型采用的是地理坐标系，坐标系单位是度，基准是Beijing_1954，要求存储的坐标数据精度达到001 m。在赤道处，赤道圆周长为400756946 m，则每度弧长=400756946×100/360 cm=11132137389 cm，即1 cm对应8983000883E-8°。所以，航空物探数据模型的比例系数取为898E-8，即存储单位为898E-8°，可满足1 cm精度要求。

将空间域移动到目标数据范围之前，首先找到空间域在存储单位的中心位置，目的是在必要时向各个方向扩展。4字节正整数可表示的坐标范围：2147483647×898E-8=19284°。我国的领土范围是东经70°～140°，北纬0°～60°。所以，选取的比例系数是合适的。把空间域坐标系中心定为90°，然后，计算空间域的Min X、Min Y。

航空物探信息系统建设

航空物探信息系统建设

所以坐标的存储数据是：

航空物探信息系统建设

航空物探信息系统建设

以上就是关于mysql 类似oracle parallel的多线程查询全部的内容，包括:mysql 类似oracle parallel的多线程查询、SQL数据库并发处理(如何处理数据库并发问题)、C# webservice如何接收并处理数据等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！