分库分表 VS newsql数据库

最近与同行 科技 交流，经常被问到分库分表与分布式数据库如何选择，网上也有很多关于中间件+传统关系数据库（分库分表）与NewSQL分布式数据库的文章，但有些观点与判断是我觉得是偏激的，脱离环境去评价方案好坏其实有失公允。

本文通过对两种模式关键特性实现原理对比，希望可以尽可能客观、中立的阐明各自真实的优缺点以及适用场景。

首先关于“中间件+关系数据库分库分表”算不算NewSQL分布式数据库问题，国外有篇论文pavlo-newsql-sigmodrec，如果根据该文中的分类，Spanner、TiDB、OB算是第一种新架构型，Sharding-Sphere、Mycat、DRDS等中间件方案算是第二种（文中还有第三种云数据库，本文暂不详细介绍）。

基于中间件（包括SDK和Proxy两种形式）+传统关系数据库（分库分表）模式是不是分布式架构？我觉得是的，因为存储确实也分布式了，也能实现横向扩展。但是不是"伪"分布式数据库？从架构先进性来看，这么说也有一定道理。"伪"主要体现在中间件层与底层DB重复的SQL解析与执行计划生成、存储引擎基于B+Tree等，这在分布式数据库架构中实际上冗余低效的。为了避免引起真伪分布式数据库的口水战，本文中NewSQL数据库特指这种新架构NewSQL数据库。

NewSQL数据库相比中间件+分库分表的先进在哪儿？画一个简单的架构对比图：

这些大多也是NewSQL数据库产品主要宣传的点，不过这些看起来很美好的功能是否真的如此？接下来针对以上几点分别阐述下的我的理解。

这是把双刃剑。

CAP限制

想想更早些出现的NoSQL数据库为何不支持分布式事务（最新版的mongoDB等也开始支持了），是缺乏理论与实践支撑吗？并不是，原因是CAP定理依然是分布式数据库头上的颈箍咒，在保证强一致的同时必然会牺牲可用性A或分区容忍性P。为什么大部分NoSQL不提供分布式事务？

那么NewSQL数据库突破CAP定理限制了吗？并没有。NewSQL数据库的鼻主Google Spanner（目前绝大部分分布式数据库都是按照Spanner架构设计的）提供了一致性和大于5个9的可用性，宣称是一个“实际上是CA”的，其真正的含义是 系统处于 CA 状态的概率非常高，由于网络分区导致的服务停用的概率非常小 ，究其真正原因是其打造私有全球网保证了不会出现网络中断引发的网络分区，另外就是其高效的运维队伍,这也是cloud spanner的卖点。详细可见CAP提出者Eric Brewer写的《Spanner, TrueTime 和CAP理论》。

完备性 ：

两阶段提交协议是否严格支持ACID，各种异常场景是不是都可以覆盖？

2PC在commit阶段发送异常，其实跟最大努力一阶段提交类似也会有部分可见问题，严格讲一段时间内并不能保证A原子性和C一致性（待故障恢复后recovery机制可以保证最终的A和C）。完备的分布式事务支持并不是一件简单的事情，需要可以应对网络以及各种硬件包括网卡、磁盘、CPU、内存、电源等各类异常，通过严格的测试。之前跟某友商交流，他们甚至说目前已知的NewSQL在分布式事务支持上都是不完整的，他们都有案例跑不过，圈内人士这么笃定，也说明了 分布式事务的支持完整程度其实是层次不齐的。

但分布式事务又是这些NewSQL数据库的一个非常重要的底层机制，跨资源的DML、DDL等都依赖其实现，如果这块的性能、完备性打折扣，上层跨分片SQL执行的正确性会受到很大影响。

性能

传统关系数据库也支持分布式事务XA，但为何很少有高并发场景下用呢？ 因为XA的基础两阶段提交协议存在网络开销大，阻塞时间长、死锁等问题，这也导致了其实际上很少大规模用在基于传统关系数据库的OLTP系统中。

NewSQL数据库的分布式事务实现也仍然多基于两阶段提交协议，例如google percolator分布式事务模型，

采用原子钟+MVCC+ Snapshot Isolation（SI），这种方式通过TSO(Timestamp Oracle)保证了全局一致性，通过MVCC避免了锁，另外通过primary lock和secondary lock将提交的一部分转为异步，相比XA确实提高了分布式事务的性能。

但不管如何优化，相比于1PC，2PC多出来的GID获取、网络开销、prepare日志持久化还是会带来很大的性能损失，尤其是跨节点的数量比较多时会更加显著，例如在银行场景做个批量扣款，一个文件可能上W个账户，这样的场景无论怎么做还是吞吐都不会很高。

虽然NewSQL分布式数据库产品都宣传完备支持分布式事务，但这并不是说应用可以完全不用关心数据拆分，这些数据库的最佳实践中仍然会写到，应用的大部分场景尽可能避免分布式事务。

既然强一致事务付出的性能代价太大，我们可以反思下是否真的需要这种强一致的分布式事务？尤其是在做微服务拆分后，很多系统也不太可能放在一个统一的数据库中。尝试将一致性要求弱化，便是柔性事务，放弃ACID(Atomicity,Consistency, Isolation, Durability)，转投BASE(Basically Available,Soft state,Eventually consistent)，例如Saga、TCC、可靠消息保证最终一致等模型，对于大规模高并发OLTP场景，我个人更建议使用柔性事务而非强一致的分布式事务。关于柔性事务，笔者之前也写过一个技术组件，最近几年也涌现出了一些新的模型与框架（例如阿里刚开源的Fescar），限于篇幅不再赘述，有空再单独写篇文章。

HA与异地多活

主从模式并不是最优的方式，就算是半同步复制，在极端情况下（半同步转异步）也存在丢数问题，目前业界公认更好的方案是基于paxos分布式一致性协议或者其它类paxos如raft方式，Google Spanner、TiDB、cockcoachDB、OB都采用了这种方式，基于Paxos协议的多副本存储，遵循过半写原则，支持自动选主，解决了数据的高可靠，缩短了failover时间，提高了可用性，特别是减少了运维的工作量，这种方案技术上已经很成熟，也是NewSQL数据库底层的标配。

当然这种方式其实也可以用在传统关系数据库，阿里、微信团队等也有将MySQL存储改造支持paxos多副本的，MySQL也推出了官方版MySQL Group Cluster，预计不远的未来主从模式可能就成为 历史 了。

需要注意的是很多NewSQL数据库厂商宣传基于paxos或raft协议可以实现【异地多活】，这个实际上是有前提的，那就是异地之间网络延迟不能太高 。以银行“两地三中心”为例，异地之间多相隔数千里，延时达到数十毫秒，如果要多活，那便需异地副本也参与数据库日志过半确认，这样高的延时几乎没有OLTP系统可以接受的。

数据库层面做异地多活是个美好的愿景，但距离导致的延时目前并没有好的方案。 之前跟蚂蚁团队交流，蚂蚁异地多活的方案是在应用层通过MQ同步双写交易信息，异地DC将交易信息保存在分布式缓存中，一旦发生异地切换，数据库同步中间件会告之数据延迟时间，应用从缓存中读取交易信息，将这段时间内涉及到的业务对象例如用户、账户进行黑名单管理，等数据同步追上之后再将这些业务对象从黑名单中剔除。由于双写的不是所有数据库 *** 作日志而只是交易信息，数据延迟只影响一段时间内数据，这是目前我觉得比较靠谱的异地度多活方案。

另外有些系统进行了单元化改造，这在paxos选主时也要结合考虑进去，这也是目前很多NewSQL数据库欠缺的功能。

Scale横向扩展与分片机制

paxos算法解决了高可用、高可靠问题，并没有解决Scale横向扩展的问题，所以分片是必须支持的。NewSQL数据库都是天生内置分片机制的，而且会根据每个分片的数据负载(磁盘使用率、写入速度等)自动识别热点，然后进行分片的分裂、数据迁移、合并，这些过程应用是无感知的，这省去了DBA的很多运维工作量。以TiDB为例，它将数据切成region，如果region到64M时，数据自动进行迁移。

分库分表模式下需要应用设计之初就要明确各表的拆分键、拆分方式（range、取模、一致性哈希或者自定义路由表）、路由规则、拆分库表数量、扩容方式等。相比NewSQL数据库，这种模式给应用带来了很大侵入和复杂度，这对大多数系统来说也是一大挑战。

这里有个问题是NewSQL数据库统一的内置分片策略（例如tidb基于range）可能并不是最高效的，因为与领域模型中的划分要素并不一致，这导致的后果是很多交易会产生分布式事务。 举个例子，银行核心业务系统是以客户为维度，也就是说客户表、该客户的账户表、流水表在绝大部分场景下是一起写的，但如果按照各表主键range进行分片，这个交易并不能在一个分片上完成，这在高频OLTP系统中会带来性能问题。

分布式SQL支持

常见的单分片SQL，这两者都能很好支持。NewSQL数据库由于定位与目标是一个通用的数据库，所以支持的SQL会更完整，包括跨分片的join、聚合等复杂SQL。中间件模式多面向应用需求设计，不过大部分也支持带拆分键SQL、库表遍历、单库join、聚合、排序、分页等。但对跨库的join以及聚合支持就不够了。

NewSQL数据库一般并不支持存储过程、视图、外键等功能，而中间件模式底层就是传统关系数据库，这些功能如果只是涉及单库是比较容易支持的。

NewSQL数据库往往选择兼容MySQL或者PostgreSQL协议，所以SQL支持仅局限于这两种，中间件例如驱动模式往往只需做简单的SQL解析、计算路由、SQL重写，所以可以支持更多种类的数据库SQL。

SQL支持的差异主要在于分布式SQL执行计划生成器，由于NewSQL数据库具有底层数据的分布、统计信息，因此可以做CBO，生成的执行计划效率更高，而中间件模式下没有这些信息，往往只能基于规则RBO（Rule-Based-Opimization），这也是为什么中间件模式一般并不支持跨库join，因为实现了效率也往往并不高，还不如交给应用去做。

存储引擎

传统关系数据库的存储引擎设计都是面向磁盘的，大多都基于B+树。B+树通过降低树的高度减少随机读、进而减少磁盘寻道次数，提高读的性能，但大量的随机写会导致树的分裂，从而带来随机写，导致写性能下降。NewSQL的底层存储引擎则多采用LSM，相比B+树LSM将对磁盘的随机写变成顺序写，大大提高了写的性能。不过LSM的的读由于需要合并数据性能比B+树差，一般来说LSM更适合应在写大于读的场景。当然这只是单纯数据结构角度的对比，在数据库实际实现时还会通过SSD、缓冲、bloom filter等方式优化读写性能，所以读性能基本不会下降太多。NewSQL数据由于多副本、分布式事务等开销，相比单机关系数据库SQL的响应时间并不占优，但由于集群的d性扩展，整体QPS提升还是很明显的，这也是NewSQL数据库厂商说分布式数据库更看重的是吞吐，而不是单笔SQL响应时间的原因。

成熟度与生态

分布式数据库是个新型通用底层软件，准确的衡量与评价需要一个多维度的测试模型，需包括发展现状、使用情况、社区生态、监控运维、周边配套工具、功能满足度、DBA人才、SQL兼容性、性能测试、高可用测试、在线扩容、分布式事务、隔离级别、在线DDL等等，虽然NewSQL数据库发展经过了一定时间检验，但多集中在互联网以及传统企业非核心交易系统中，目前还处于快速迭代、规模使用不断优化完善的阶段。

相比而言，传统关系数据库则经过了多年的发展，通过完整的评测，在成熟度、功能、性能、周边生态、风险把控、相关人才积累等多方面都具有明显优势，同时对已建系统的兼容性也更好。

对于互联网公司，数据量的增长压力以及追求新技术的基因会更倾向于尝试NewSQL数据库，不用再考虑库表拆分、应用改造、扩容、事务一致性等问题怎么看都是非常吸引人的方案。

对于传统企业例如银行这种风险意识较高的行业来说，NewSQL数据库则可能在未来一段时间内仍处于 探索 、审慎试点的阶段。基于中间件+分库分表模式架构简单，技术门槛更低，虽然没有NewSQL数据库功能全面，但大部分场景最核心的诉求也就是拆分后SQL的正确路由，而此功能中间件模式应对还是绰绰有余的，可以说在大多数OLTP场景是够用的。

限于篇幅，其它特性例如在线DDL、数据迁移、运维工具等特性就不在本文展开对比。

总结

如果看完以上内容，您还不知道选哪种模式，那么结合以下几个问题，先思考下NewSQL数据库解决的点对于自身是不是真正的痛点：

如果以上有2到3个是肯定的，那么你可以考虑用NewSQL数据库了，虽然前期可能需要一定的学习成本，但它是数据库的发展方向，未来收益也会更高，尤其是互联网行业，随着数据量的突飞猛进，分库分表带来的痛苦会与日俱增。当然选择NewSQL数据库你也要做好承担一定风险的准备。

如果你还未做出抉择，不妨再想想下面几个问题：

如果这些问题有多数是肯定的，那还是分库分表吧。在软件领域很少有完美的解决方案，NewSQL数据库也不是数据分布式架构的银d。相比而言分库分表是一个代价更低、风险更小的方案，它最大程度复用传统关系数据库生态，通过中间件也可以满足分库分表后的绝大多数功能，定制化能力更强。 在当前NewSQL数据库还未完全成熟的阶段，分库分表可以说是一个上限低但下限高的方案，尤其传统行业的核心系统，如果你仍然打算把数据库当做一个黑盒产品来用，踏踏实实用好分库分表会被认为是个稳妥的选择。

很多时候软件选型取决于领域特征以及架构师风格，限于笔者知识与所属行业特点所限，以上仅为个人粗浅的一些观点，欢迎讨论。

问了个朋友,希望可以帮到你

1、通过z/OS的控制台或者z/OS的应用程序，对于包含多个DB2子系统的环境。如果要在特定的一个DB2系统执行DB2命令，需要通过命令前缀的方式，例如:-DSN1 DIS GROUP DETAILS。可以执行所有的DB2命令

2、通过IMS控制台或者应用程序，可以运行除Start DB2之外的所有DB2命令。同样需要特定的命令限定符。

3、通过CICS控制台，可以运行除Start DB2之外的所有DB2命令。由于CICS只能连接到一个DB2系统上，所以执行DB2命令，不需要特定的前缀符号。

4、通过TSO的控制台或者DB2I，可以利用如下命令打开DB2命令控制台:TSO DSN SYSTEM (subsystem-name)。同样是可以运行除了Start DB2之外的所有DB2命令。

5、通过APF-authorized的应用程序执行DB2命令，可以执行所有DB2命令。

6、通过IFI(instrumentation facility interface)应用程序。可以执行所有的DB2命令。

发现电脑设备管理器中网络适配器有黄色感叹号，不知道怎么处理怎么办呢？下面是相关的知识，欢迎阅读。

首先网络适配器有感叹号是典型网卡驱动问题。一般为网卡驱动没安装，或网卡驱动不网络适配器型号不匹配。意外情况下，出现网络适配器感叹号，找一台朋友的电脑或去网吧，下载对应的网卡驱动程序安装好就行，假如能安好，便能上网。如果是网络适配有器感叹号，但是能上网，说明你安装了多个网卡驱动， 出现感叹号的是不匹配的驱动，可以删除。

怎么查看网络适配器型号

开始——运行——输入cmd，回车——在命令窗口输入“ipconfig /all”回车，然后本地连接的description一栏就是网卡型号。 另外可以在其他电脑上下载一个鲁大师，安装后默认界面就会显示网卡和主板型号。

网络适配器感叹号怎么办

安装网络适配器驱动的方法：

方法一、如果是之前能上网，突然出现的感叹号。可以右键点击对于的驱动程序——选择“卸载”，卸载后重新电脑，然后让电脑自动搜索安装网卡驱动程序。（设备管理器位置：右击我的电脑，选择设备管理器；右键我的电脑选择属性，切换到硬件，点击设备管理器）。

方法二、若方法一无效，需要手动安装驱动。在他电脑下载对应的驱动程序（一种是双击自动安装的，另一种是右键点击“网络适配器”更新驱动程序，如果是后面这种需要把下载的驱动放到磁盘（D/E/F）的根目录，不然安装时不好选）。如果有主板驱动盘，里面也包含集成的网卡驱动程序。

方法三、在其他电脑上下载一个驱动精灵或驱动人生，然后安装让软件自动检测你的'网卡，一般都集成网卡驱动。

重装系统后，网络适配器感叹号

此种情况可能是随意更新网卡驱动程序，导致不匹配。解决办法：返回原来的驱动程序。步骤：在设备管理器中找到并展开网络适配器，双击出问题的驱动，然后切换到“驱动程序”选项卡，点击下面的“返回驱动程序”，使用它就可以还原到原来安装的驱。

【拓展内容】

网络适配器有什么作用

传统网络环境下，处理器需要处理诸如封装与卸载IP数据包、计算与检查校验和数值等网络任务。在拥有多个网络适配器的情况下，处理器会在这些任务上花费更多资源。卸载技术需要与 *** 作系统相匹配，如Windows Server 2008 R2，可以把这类任务转交给网络适配器进行处理。卸载技术主要包含了校验、分割、传输控制协议栈(TCP)和接收端缩放(RSS)。一旦管理员理解了现今可用的卸载功能，他们便可以选择特定的网络适配器来满足企业IT环境需求。

分段卸载

数据在网络中按分段传输，每个包1,448字节，与TCP、IP和数据链路层报头匹配。传统情况下，处理器会准备分段数据并准备数据包。例如，移动某个65,536的字节块会需要处理器创建并发送最少46个数据包。

如果网络适配器来处理分段卸载，处理器可以将整个数据片段发给网络适配器。这技术通常被称做TCP分段卸载(TSO)或者大段卸载(LSO)。

校验和卸载

校验和算法扫描TCP与用户数据报协议数据包以捕获错误。校验确保网络适配器收到数据包时进行验证。

活跃结点每天可能会交换百万甚至几十亿数据包。如果服务器处理器可以将卸载计算与校验和比对任务交给网络适配器完成，那么系统整体性能还是可以提升的。

选择支持IPv4与IPv6发送与接收时卸载校验和计算的网络适配器。用于安全通信的网络适配器同样可以无须占用服务器处理器资源，完成卸载加密校验和计算与验证工作。

TCP卸载

TCP卸载有个很有利的因素，就是将整个TCP栈转移到硬件上，这样可以把这些CPU计算资源归还给 *** 作系统。实际上，这意味着将第三层(网络/IP)和第四层(传输/TCP)下降到网络适配器，可以利用适配器的TCP卸载引擎(TOE)处理多种数据组织和传输任务。

投资具备完全TOE功能的网络适配器，可见的回报在于当通过卸载可以释放先前占用不少的CPU资源。传统的千兆网网络适配器可能会消耗CPU约70%的处理能力，大量占用服务器应用程序所需资源。如iSCSI这类占用带宽的基于网络的存储，需要为其配置TOE适配器。

如果不需要完整的TOE功能，可以选择其他网络适配器，这些适配器可以灵活支持TOE的功能子集，如校验与卸载(TSO)或LRO。

接收端调节

处理器需要花费时间来重组提取自单个数据包的数据，当需要处理多个网络端口和应用程序数据包时，单个处理器会比较繁忙。RSS会同时向多个物理处理器(不是内核)传递数据包，这样相同物理处理器只会处理来自相同TCP连接传来的数据包。处理器一直处理相同的数据流，会比重新接收与组合新的数据数据来得更容易也更快。

大多数情况下，文件服务器、Web服务器和数据库服务器都能受益于完整的卸载功能，包括校验和卸载、分段卸载、TOE和接收端调解。其他类型的服务器可以有选择的启用卸载功能。分段对于处理短信息的邮件服务器来说没有太大作用，而媒体服务器不需要分段，因为大部分服务器的经理都花在移动大数据上了。

启用某个卸载功能后，可以客观的从量化后的服务器数据来判断服务器性能是否提升。

---