sql 查询逻辑简单 表数据量大 怎样优化

首先，你这个数据确实太多了，应该考虑使用高速磁盘阵列，甚至考虑小型机，以及专业的数据库系统。

其次，如果你的数据库变化不大，可以考虑增加索引，特别是在product_detailcreat_dt 这样的数据分散字段上建立索引，能明显提高效率。如果经常都有更新，索引就不宜过多，否则插入一条数据会非常慢。

如果你的应用非常复杂，数据在大量更新，又需要快速查询，有一些用空间换时间的办法，比如把数据库按照一定规则分在不同的服务器上，查询的时候先对条件进行判断，再提交给不同的服务器进行查询。数据库分片的方法许多，例如你可以按照时间，把每一天的数据存放在不同服务器里面，程序判断条件之后，调用对应的服务器进行查询。

空间换时间有一个典型的办法，就是把两个表合并起来，查询的时候就无需关联。

1可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2 数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如 果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3 预测性分析

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4 语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据的技术

数据采集： ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取： 关系数据库、NOSQL、SQL等。

基础架构： 云存储、分布式文件存储等。

数据处理： 自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解也称为计算语言学。一方面它是语言信息处理的一个分支，另一方面它是人工智能的核心课题之一。

统计分析： 假设检验、显著性检验、差异分析、相关分析、T检验、 方差分析 、 卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、 因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

数据挖掘： 分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)

模型预测 ：预测模型、机器学习、建模仿真。

结果呈现： 云计算、标签云、关系图等。

大数据的处理

1 大数据处理之一：采集

大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的 数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除 此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。

在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户 来进行访问和 *** 作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间 进行负载均衡和分片的确是需要深入的思考和设计。

2 大数据处理之二：导入/预处理

虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这 些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使 用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。

3 大数据处理之三：统计/分析

统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通 的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于 MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。

统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。

4 大数据处理之四：挖掘

与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数 据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于 统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并 且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。

整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。

数据库优化是系统工程，性能的提升靠整体。本课程将面面俱到的讲解提升数据库性能的各种因素，让你在最短的时间从小白到资深，将数据库整体架构了然于胸

第1章 实例和故事 试看7 节 | 50分钟

决定电商11大促成败的各个关键因素。

收起列表

视频：1-1 什么决定了电商双11大促的成败 (04:04)试看

视频：1-2 在双11大促中的数据库服务器 (06:03)

视频：1-3 在大促中什么影响了数据库性能 (07:55)

视频：1-4 大表带来的问题 (14:13)

视频：1-5 大事务带来的问题 (17:27)

作业：1-6 讨论题在日常工作中如何应对高并发大数据量对数据库性能挑战

作业：1-7 讨论题在MySQL中事务的作用是什么？

第2章 什么影响了MySQL性能 试看30 节 | 210分钟

详细介绍影响性能各个因素，包括硬件、 *** 作系统等等。

收起列表

视频：2-1 影响性能的几个方面 (04:08)试看

视频：2-2 CPU资源和可用内存大小 (10:54)

视频：2-3 磁盘的配置和选择 (04:44)

视频：2-4 使用RAID增加传统机器硬盘的性能 (11:30)

视频：2-5 使用固态存储SSD或PCIe卡 (08:35)

视频：2-6 使用网络存储SAN和NAS (07:16)

视频：2-7 总结：服务器硬件对性能的影响 (03:27)

视频：2-8 *** 作系统对性能的影响-MySQL适合的 *** 作系统 (03:50)

视频：2-9 CentOS系统参数优化 (11:43)

视频：2-10 文件系统对性能的影响 (03:29)

视频：2-11 MySQL体系结构 (05:29)

视频：2-12 MySQL常用存储引擎之MyISAM (13:23)

视频：2-13 MySQL常用存储引擎之Innodb (10:44)

视频：2-14 Innodb存储引擎的特性(1) (15:24)

视频：2-15 Innodb存储引擎的特性(2) (08:44)

视频：2-16 MySQL常用存储引擎之CSV (09:19)

视频：2-17 MySQL常用存储引擎之Archive (06:08)

视频：2-18 MySQL常用存储引擎之Memory (10:40)

视频：2-19 MySQL常用存储引擎之Federated (11:21)

视频：2-20 如何选择存储引擎 (04:33)

视频：2-21 MySQL服务器参数介绍 (08:04)

视频：2-22 内存配置相关参数 (09:24)

视频：2-23 IO相关配置参数 (10:01)

视频：2-24 安全相关配置参数 (06:13)

视频：2-25 其它常用配置参数 (03:41)

视频：2-26 数据库设计对性能的影响 (04:36)

视频：2-27 总结 (01:32)

作业：2-28 讨论题你会如何配置公司的数据库服务器硬件？

作业：2-29 讨论题你认为对数据库性能影响最大的因素是什么

作业：2-30 讨论题做为电商的DBA，建议开发选哪种MySQL存储引擎

第3章 MySQL基准测试8 节 | 65分钟

了解基准测试,MySQL基准测试工具介绍及实例演示。

收起列表

视频：3-1 什么是基准测试 (02:20)

视频：3-2 如何进行基准测试 (09:00)

视频：3-3 基准测试演示实例 (11:18)

视频：3-4 Mysql基准测试工具之mysqlslap (13:30)

视频：3-5 Mysql基准测试工具之sysbench (11:07)

视频：3-6 sysbench基准测试演示实例 (17:11)

作业：3-7 讨论题MySQL基准测试是否可以体现出业务系统的真实性能

作业：3-8 实 *** 题参数不同取值对性能的影响

第4章 MySQL数据库结构优化14 节 | 85分钟

详细介绍数据库结构设计、范式和反范式设计、物理设计等等。

收起列表

视频：4-1 数据库结构优化介绍 (06:52)

视频：4-2 数据库结构设计 (14:49)

视频：4-3 需求分析及逻辑设计 (11:00)

视频：4-4 需求分析及逻辑设计-反范式化设计 (06:44)

视频：4-5 范式化设计和反范式化设计优缺点 (04:06)

视频：4-6 物理设计介绍 (05:17)

视频：4-7 物理设计-数据类型的选择 (18:59)

视频：4-8 物理设计-如何存储日期类型 (13:37)

视频：4-9 物理设计-总结 (02:37)

图文：4-10 说明MyISAM和Innodb存储引擎的5点不同

作业：4-11 讨论题判断表结构是否符合第三范式要求如不满足要如何修改

作业：4-12 实 *** 题请设计一个电商订单系统的数据库结构

作业：4-13 讨论题以下那个字段适合作为Innodb表的主建使用

作业：4-14 讨论题请为下表中的字段选择合适的数据类型

第5章 MySQL高可用架构设计 试看24 节 | 249分钟

详细介绍二进制日志及其对复制的影响、GTID的复制、MMM、MHA等等。

收起列表

视频：5-1 mysql复制功能介绍 (04:58)

视频：5-2 mysql二进制日志 (22:05)

视频：5-3 mysql二进制日志格式对复制的影响 (09:37)

视频：5-4 mysql复制工作方式 (03:08)

视频：5-5 基于日志点的复制 (20:06)

视频：5-6 基于GTID的复制 (22:32)

视频：5-7 MySQL复制拓扑 (13:58)

视频：5-8 MySQL复制性能优化 (09:23)

视频：5-9 MySQL复制常见问题处理 (08:31)

视频：5-10 什么是高可用架构 (14:09)

视频：5-11 MMM架构介绍 (08:09)

视频：5-12 MMM架构实例演示（上） (09:16)试看

视频：5-13 MMM架构实例演示（下） (18:55)

视频：5-14 MMM架构的优缺点 (08:01)

视频：5-15 MHA架构介绍 (10:02)

视频：5-16 MHA架构实例演示(1) (13:11)

视频：5-17 MHA架构实例演示(2) (16:54)

视频：5-18 MHA架构优缺点 (05:14)

视频：5-19 读写分离和负载均衡介绍 (11:42)

视频：5-20 MaxScale实例演示 (18:25)

作业：5-21 讨论题MySQL主从复制为什么会有延迟，延迟又是如何产生

作业：5-22 实 *** 题请为某互联网项目设计9999%MySQL架构

作业：5-23 讨论题如何给一个已经存在的主从复制集群新增一个从节点

作业：5-24 讨论题给你三台数据库服务器，你如何设计它的高可用架构

第6章 数据库索引优化8 节 | 65分钟

介绍BTree索引和Hash索引，详细介绍索引的优化策略等等。

收起列表

视频：6-1 Btree索引和Hash索引 (20:09)

视频：6-2 安装演示数据库 (01:19)

视频：6-3 索引优化策略（上） (17:33)

视频：6-4 索引优化策略（中） (13:02)

视频：6-5 索引优化策略（下） (12:30)

作业：6-6 讨论题一列上建立了索引，查询时就一定会用到这个索引吗

作业：6-7 讨论题在定义联合索引时为什么需要注意联合索引中的顺序

作业：6-8 实 *** 题SQL建立索引，你会考虑那些因素

第7章 SQL查询优化9 节 | 62分钟

详细介绍慢查询日志及示例演示,MySQL查询优化器介绍及特定SQL的查询优化等。

收起列表

视频：7-1 获取有性能问题SQL的三种方法 (05:14)

视频：7-2 慢查询日志介绍 (08:57)

视频：7-3 慢查询日志实例 (08:27)

视频：7-4 实时获取性能问题SQL (02:21)

视频：7-5 SQL的解析预处理及生成执行计划 (16:02)

视频：7-6 如何确定查询处理各个阶段所消耗的时间 (09:35)

视频：7-7 特定SQL的查询优化 (10:34)

作业：7-8 讨论题如何跟据需要对一个大表中的数据进行删除或更新

作业：7-9 讨论题如何获取需要优化的SQL查询

第8章 数据库的分库分表5 节 | 48分钟

详细介绍数据库分库分表的实现原理及演示案例等。

收起列表

视频：8-1 数据库分库分表的几种方式 (04:34)

视频：8-2 数据库分片前的准备 (13:53)

视频：8-3 数据库分片演示(上) (11:40)

视频：8-4 数据库分片演示(下) (17:02)

作业：8-5 讨论题对于大表来说我们一定要进行分库分表吗

第9章 数据库监控7 节 | 29分钟

介绍数据库可用性监控、性能监控、MySQL主从复制监控等

收起列表

视频：9-1 数据库监控介绍 (04:46)

视频：9-2 数据库可用性监控 (07:20)

视频：9-3 数据库性能监控 (09:39)

视频：9-4 MySQL主从复制监控 (06:16)

作业：9-5 讨论题QPS是否可以真实的反映出数据库的负载情况

作业：9-6 讨论题如何正确评估数据库的当前负载状况

作业：9-7 实 *** 题开发一个简单监控脚本，监控mySQL数据库阻塞情况

这种概念上的含混不清之所以还在流传，主要是因为不懂技术的人而喜欢这些概念的大有人在，所以也并不在意要去澄清概念。“既然分布式数据库是MPP架构，那么MPP架构就等于分布式数据库应该也没什么问题吧。”于是大家就都不在意了。

比如，ShardingSphere转向可插拔架构后，其核心流程里已经没有分片功能了，分片会作为可插拔能力的一部分接入到服务中。对于数据库中间件来说，几乎属于产品重定义。与许多人对数据库中间件的固有认知相悖，因为在许多人的理解中，数据库中间件不就是为了分库分表而存在的吗？

理解关系数据库中的相关概念、关系模型及其三要素；理解关系的性质及类型；理解完整性规则在关系数据库中的作用；理解关系代数运算，掌握传统的集合运算与专门的关系运算；理解并掌握关系演算。

很多人在对比两者时，其实并不知道MPP的含义究竟是什么、两者的可比性到底在哪里。实际上，当人们在对比两者时，与其说是对比架构，不如说是对比产品。虽然MPP的原意是“大规模并行处理”，但由于一些历史原因，现在当人们说到MPP架构时，它们实际上指代的是“分布式数据库”，而Hadoop架构指的则是以Hadoop项目为基础的一系列分布式计算和存储框架。不过由于MPP的字面意思，现实中还是经常有人纠结两者到底有什么联系和区别，两者到底是不是同一个层面的概念。

随着时间和业务的发展，数据库中的数据量增长是不可控的，库和表中的数据会越来越大，随之带来的是更高的 磁盘 、 IO 、 系统开销 ，甚至 性能 上的瓶颈，而单台服务器的 资源终究是有限 的。

因此在面对业务扩张过程中，应用程序对数据库系统的 健壮性 ， 安全性 ， 扩展性 提出了更高的要求。

以下，我从数据库架构、选型与落地来让大家入门。

数据库会面临什么样的挑战呢？

业务刚开始我们只用单机数据库就够了，但随着业务增长，数据规模和用户规模上升，这个时候数据库会面临IO瓶颈、存储瓶颈、可用性、安全性问题。

为了解决上述的各种问题，数据库衍生了出不同的架构来解决不同的场景需求。

将数据库的写 *** 作和读 *** 作分离，主库接收写请求，使用多个从库副本负责读请求，从库和主库同步更新数据保持数据一致性，从库可以水平扩展，用于面对读请求的增加。

这个模式也就是常说的读写分离，针对的是小规模数据，而且存在大量读 *** 作的场景。

因为主从的数据是相同的，一旦主库宕机的时候，从库可以 切换为主库提供写入 ，所以这个架构也可以提高数据库系统的 安全性 和 可用性 ；

优点：

缺点：

在数据库遇到 IO瓶颈 过程中，如果IO集中在某一块的业务中，这个时候可以考虑的就是垂直分库，将热点业务拆分出去，避免由 热点业务 的 密集IO请求 影响了其他正常业务，所以垂直分库也叫 业务分库 。

优点：

缺点：

在数据库遇到存储瓶颈的时候，由于数据量过大造成索引性能下降。

这个时候可以考虑将数据做水平拆分，针对数据量巨大的单张表，按照某种规则，切分到多张表里面去。

但是这些表还是在同一个库中，所以库级别的数据库 *** 作还是有IO瓶颈（单个服务器的IO有上限）。

所以水平分表主要还是针对 数据量较大 ，整体业务 请求量较低 的场景。

优点：

缺点：

四、分库分表

在数据库遇到存储瓶颈和IO瓶颈的时候，数据量过大造成索引性能下降，加上同一时间需要处理大规模的业务请求，这个时候单库的IO上限会限制处理效率。

所以需要将单张表的数据切分到多个服务器上去，每个服务器具有相应的库与表，只是表中数据集合不同。

分库分表能够有效地缓解单机和单库的 性能瓶颈和压力 ，突破IO、连接数、硬件资源等的瓶颈。

优点：

缺点：

注：分库还是分表核心关键是有没有IO瓶颈 。

分片方式都有什么呢？

RANGE（范围分片）

将业务表中的某个 关键字段排序 后，按照顺序从0到10000一个表，10001到20000一个表。最常见的就是 按照时间切分 （月表、年表）。

比如将6个月前，甚至一年前的数据切出去放到另外的一张表，因为随着时间流逝，这些表的数据被查询的概率变小，银行的交易记录多数是采用这种方式。

优点：

缺点：

HASH（哈希分片）

将订单作为主表，然后将其相关的业务表作为附表，取用户id然后 hash取模 ，分配到不同的数据表或者数据库上。

优点：

缺点：

讲到这里，我们已经知道数据库有哪些架构，解决的是哪些问题，因此， 我们在日常设计中需要根据数据的特点，数据的倾向性，数据的安全性等来选择不同的架构 。

那么，我们应该如何选择数据库架构呢？

虽然把上面的架构全部组合在一起可以形成一个强大的高可用，高负载的数据库系统，但是架构选择合适才是最重要的。

混合架构虽然能够解决所有的场景的问题，但是也会面临更多的挑战，你以为的完美架构，背后其实有着更多的坑。

1、对事务支持

分库分表后（无论是垂直还是水平拆分），就成了分布式事务了，如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价（XA事务）；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担（TCC、SAGA）。

2、多库结果集合并 （group by，order by）

由于数据分布于不同的数据库中，无法直接对其做分页、分组、排序等 *** 作，一般应对这种多库结果集合并的查询业务都需要采用数据清洗、同步等其他手段处理（TIDB、KUDU等）。

3、数据延迟

主从架构下的多副本机制和水平分库后的聚合库都会存在主数据和副本数据之间的延迟问题。

4、跨库join

分库分表后表之间的关联 *** 作将受到限制，我们无法join位于不同分库的表（垂直），也无法join分表粒度不同的表（水平）， 结果原本一次查询就能够完成的业务，可能需要多次查询才能完成。

5、分片扩容

水平分片之后，一旦需要做扩容时。需要将对应的数据做一次迁移，成本代价都极高的。

6、ID生成

分库分表后由于数据库独立，原有的基于数据库自增ID将无法再使用，这个时候需要采用其他外部的ID生成方案。

一、应用层依赖类（JDBC）

这类分库分表中间件的特点就是和应用强耦合，需要应用显示依赖相应的jar包（以Java为例），比如知名的TDDL、当当开源的 sharding-jdbc 、蘑菇街的TSharding等。

此类中间件的基本思路就是重新实现JDBC的API，通过重新实现 DataSource 、 PrepareStatement 等 *** 作数据库的接口，让应用层在 基本 不改变业务代码的情况下透明地实现分库分表的能力。

中间件给上层应用提供熟悉的JDBC API，内部通过 sql解析 、 sql重写 、 sql路由 等一系列的准备工作获取真正可执行的sql，然后底层再按照传统的方法（比如数据库连接池）获取物理连接来执行sql，最后把数据 结果合并 处理成ResultSet返回给应用层。

优点

缺点

二、中间层代理类（Proxy）

这类分库分表中间件的核心原理是在应用和数据库的连接之间搭起一个 代理层 ，上层应用以 标准的MySQL协议 来连接代理层，然后代理层负责 转发请求 到底层的MySQL物理实例，这种方式对应用只有一个要求，就是只要用MySQL协议来通信即可。

所以用MySQL Navicat这种纯的客户端都可以直接连接你的分布式数据库，自然也天然 支持所有的编程语言 。

在技术实现上除了和应用层依赖类中间件基本相似外，代理类的分库分表产品必须实现标准的MySQL协议，某种意义上讲数据库代理层转发的就是MySQL协议请求，就像Nginx转发的是>

以上就是关于sql 查询逻辑简单 表数据量大 怎样优化全部的内容，包括:sql 查询逻辑简单 表数据量大 怎样优化、SQL中如何实现大数据量共现分析、扛得住的MySQL数据库架构等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！