Python存200w数据到数据库需要多久

【python存数据库速度】

1、需要从文本中读取三万条数据写入mysql数据库，文件中为用@分割的sql语句，但是在读取的过程中发现速度过慢，三万八千条数据需要220秒，

2、经测试发现，影响速度的主要原因是commit(),因为没过几秒提交一次即可，但是因为提交的字符长度有限制，所以要设置一个合理的时间读取。

3、更改后，写入三万八千条数据仅需要9秒

2、根据查询条件,建立索引,优化索引、优化访问方式，限制结果集的数据量。

3、扩大服务器的内存

4、增加服务器CPU个数

5、对于大的数据库不要设置数据库自动增长，它会降低服务器的性能

6、在查询Select语句中用Where字句限制返回的行数,避免表扫描,如果返回不必要的数据，浪费了服务器的I/O资源，加重了网络的负担降低性能。如果表很大，在表扫描的期间将表锁住，禁止其他的联接访问表,后果严重。

7、查询时不要返回不需要的行、列

8、用select

top

100

/

10

Percent

来限制用户返回的行数或者SET

ROWCOUNT来限制 *** 作的行

9、在IN后面值的列表中，将出现最频繁的值放在最前面，出现得最少的放在最后面，减少判断的次数

10、一般在GROUP

BY

个HAVING字句之前就能剔除多余的行，所以尽量不要用它们来做剔除行的工作。他们的执行顺序应该如下最优：

select的Where字句选择所有合适的行，Group

By用来分组个统计行，Having字句用来剔除多余的分组。这样Group

By

个Having的开销小，查询快.对于大的数据行进行分组和Having十分消耗资源。如果Group

BY的目的不包括计算，只是分组，那么用Distinct更快

11、一次更新多条记录比分多次更新每次一条快,就是说批处理好.