如何同时收集多表统计信息

如何同时收集多表统计信息,第1张

一:Merge表的原理及优点在Mysql数据库中,Merge表有点类似于视图。mysql的merge引擎类型允许你把许多结构相同的表合并为一个表。之后,你可以执行查询,从多个表返回的结果就像从一个表返回的结果一样。每一个合并的表必须有完全相同表的定义和结构。

1.1 Mysql Merge表的优点:A. 分离静态的和动态的数据B. 利用结构接近的的数据来优化查询C. 查询时可以访问更少的数据D. 更容易维护大数据集E. 可以通过修改.mrg文件来修改Merge表,当然也可以用alter进行修改,修改后要通过FLUSH TABLES刷新表缓存,此法可以动态增加减少子表

1.2 merge表存储引擎在如下这种使用场合会最为有用:1,2,1 网上这样说:如果需要把日志记录不停的录入MySQL数据库,并且每天、每周或者每个月都创建一个单一的表,而且要制作来自多个表的合计查询,MERGE表这时会非常有效。然而,这项功能有局限性。你只能合并MyISAM表而且必须严格遵守相同的表定义的限制。虽然这看起来好像是一个大问题,但是,如果你使用另外一种表类型(例如InnoDB),这种合并可能就不需要.1.2.2 我的感觉最直接的用途: 可以把很多表的统计使用一张表来统计,方便我们的统计,例如,统一账户有1000个流水表,如果要用sql来做这个,你会想到什么,是union 吗?当然可以,但是你可以试一下,union时表的个数最大是61个,这样是不是不行了;如果你用merge表那就很简单,就可以在一个表里面做你的统计了(merge表应该也有表的限制,但是我没有找到这个说明),统一账户有1000个表,我创建了4个merge表(之前创建了1个,select是报错“Can#39t open file: #39./uni_acct/t_acct_water_504.frm#39(errno: 24)”,然后换成4个,两个其实也可以,哈哈;具体merge表union的表数目限制从测试看应该是503,这个数据不一定准确,只是我的一个测试值(有可能和表的数据量也有关))二 merge表的创建和注意事项:2.1 如何创建merge表基本表:CREATE TABLE TEST_MERGE_1(ID INT(5) NOT NULL,VALUE VARCHAR(100) NOT NULL,PRIMARY KEY(ID))

CREATE TABLE TEST_MERGE_2(ID INT(5) NOT NULL,VALUE VARCHAR(100) NOT NULL,PRIMARY KEY(ID))MERGE表:CREATE TABLE TEST_MERGE(ID INT(5) NOT NULL,VALUE VARCHAR(100) NOT NULL,PRIMARY KEY(ID)) TYPE=MRG_MyISAM INSERT_METHOD=LAST UNION=(TEST_MERGE_1,TEST_MERGE_2)

2.2 说明:

此表结构必须与基本表完全一致,包括列名、顺序(注意主键,索引这些可以不同)。UNION表必须同属一个DATABASE。

2. 此表类似于SQL中的union机制。

3. 基本表类型必须是MyISAM的。

4. 可以通过修改.mrg文件来修改MERGE表,每个基本表的名字占一行。注意:修改后要通过FLUSH TABLES刷新表缓存。

5. 对基本表的更改可以直接反映在此表上。

6. INSERT_METHOD的取值可以是: 0 不允许插入 FIRST 插入到UNION中的第一个表 LAST 插入到UNION中的最后一个表。(4.0之后可用)

7. 定义在它上面的约束没有任何作用,约束是由基本表控制的,例如两个基本表中存在着同样的一个Key值,那么在MERGE表中会有两个一样的Key值。

2.3 注意:

如果是通过修改.mrg文件的方式来修改MERGE表,那么一定要修改后要通过FLUSH TABLES刷新表缓存,否则修改不会生效。最近犯过一次这样的错误。

2.在数据量、查询量较大的情况下,不要试图使用Merge表来达到类似于Oracle的表分区的功能,会很影响性能。我的感觉是和union几乎等价。

3.查询结果及顺序与创建Merge表时联合表的顺序有关。

看下面的例子:

CREATE TABLE `allentest5` (

`a` int(11) NOT NULL default #390#39,

`b` varchar(11) default NULL,

PRIMARY KEY (`a`)

) ENGINE=MyISAM DEFAULT CHARSET=latin1

CREATE TABLE `allentest6` (

`a` int(11) NOT NULL default #390#39,

`b` varchar(11) default NULL,

PRIMARY KEY (`a`)

) ENGINE=MyISAM DEFAULT CHARSET=latin1

CREATE TABLE `allentest_mrg_5`

(

`a` int(11) NOT NULL default #390#39,

`b` varchar(11) default NULL,

primary key(a)

)ENGINE=MRG_MyISAM DEFAULT CHARSET=latin1 INSERT_METHOD=LAST UNION=(`allentest5`,`allentest6`)/*5在前,6在后*/

CREATE TABLE `allentest_mrg_6`

(

`a` int(11) NOT NULL default #390#39,

`b` varchar(11) default NULL,

primary key(a)

) ENGINE=MRG_MyISAM DEFAULT CHARSET=latin1 INSERT_METHOD=LAST UNION=(`allentest6`,`allentest5`)/*6在前,5在后*/

CREATE TABLE `allentest_mrg_6_noKey` (

`a` int(11) NOT NULL default #390#39,

`b` varchar(11) default NULL

) ENGINE=MRG_MyISAM DEFAULT CHARSET=latin1 INSERT_METHOD=LAST UNION=(`allentest6`,`allentest5`) /*meg 没有 主键*/

原始表里面的数据:

select * from allentest5

+---+---------+

| a | b |

+---+---------+

| 3 | test5_3 |

| 2 | test5_2 |

| 1 | test5_1 |

+---+---------+

select * from allentest6

+---+---------+

| a | b |

+---+---------+

| 1 | test6_1 |

| 2 | test6_2 |

+---+---------+

几个merger表的结果

select * from allentest_mrg_6_noKey where a =1/ *没有主键*/

+---+---------+

| a | b |

+---+---------+

| 1 | test6_1 |

| 1 | test5_1 |

+---+---------+

select * from allentest_mrg_5 where a = 1/*有主键*/

+---+---------+

| a | b |

+---+---------+

| 1 | test5_1 |

+---+---------+

select * from allentest_mrg_6 where a = 1/*有主键*/

+---+---------+

| a | b |

+---+---------+

| 1 | test6_1 |

+---+---------+

select * from allentest_mrg_5

+---+---------+

| a | b |

+---+---------+

| 3 | test5_3 |

| 2 | test5_2 |

| 1 | test5_1 |

| 1 | test6_1 |

| 2 | test6_2 |

+---+---------+

select * from allentest_mrg_6

+---+---------+

| a | b |

+---+---------+

| 1 | test6_1 |

| 2 | test6_2 |

| 3 | test5_3 |

| 2 | test5_2 |

| 1 | test5_1 |

+---+---------+

select * from allentest_mrg_6_noKey

+---+---------+

| a | b |

+---+---------+

| 1 | test6_1 |

| 2 | test6_2 |

| 3 | test5_3 |

| 2 | test5_2 |

| 1 | test5_1 |

+---+---------+</ol>可以看到如下信息:

1) mrg表查询的结果和 union的表顺序一致(见select * from allentest_mrg_5和select * fromallentest_mrg_6);2)mrg主键的问题a.在查询时如果不带条件,这时候查询出来的数据和没有带主键的是一样的(见select * from allentest_mrg_6和 select * from allentest_mrg_6_noKey)b.如果带条件(带有主键的查询),这样之后查询到第一个带有主键的内容(见select * from allentest_mrg_6_noKey where a =1select * from allentest_mrg_5 where a = 1和 select * from allentest_mrg_6 where a = 1) ;因此如果是做统计,那么在创建mrg表时尽量不要增加主键。

这么具体的问题,找通用demo很难啊,个人觉得问题的难点不在Python。

1. 获取什么服务器性能数据和如何获取,可以请教公司内部运维。

2. 获取什么数据库性能数据和如何获取,可以请教公司内部DBA。

3. 以上两点搞定了,才能确定临时数据存储结构和最终数据库表结构。

以上三点是关键,Python的事情就简单多了,提供一种思路:一分钟一次,实时性不高,每台服务器用cron部署一个a.py,用于获取性能数据,在某一台服务器有一个b.py,负责获取所有服务器a.py产生的数据,然后写入数据库;a.py如何上报到b.py取决于你擅长什么,如果熟悉网络编程,用a.py做客户端上报到服务端b.py,如果熟悉shell的文件同步(如rsync),a.py只写本地文件,b.py调用c.sh(封装rsync)拉取远程文件。

个人信用信息基础数据库收集的个人信息主要包括三类,一是身份识别信息,二是贷款信息,包括等:三是xyk信息随着数据库建设的逐步完善,还将采集个人支付电话、水、电、燃气等公用事业费用的信息,以及法院民事判决、欠税等公共信息。需要了解的话方可咨询源清征信,免费帮助建议可以咨询相关征信机构,给出解决方案,放心又省事,(源清征信)先做后费值得了解。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10085076.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-05
下一篇 2023-05-05

发表评论

登录后才能评论

评论列表(0条)

保存