python执行sql，并保存到excel，很慢

你在服务器上直接查询，只是读取一次数据到内存中。

你现在的代码，首先要从数据库读出，然后要写入df，df可以看做一个内存数据库，写入需要做一些相关的处理，例如索引之类的。

然后又要从df读出，再写入excel,这个步骤是写入磁盘，也是花费时间最多的。

您好，

ResultSet得相关参数代码片断，下面的代码对类型判断和转换还不全面，如果还有其他字段请自行添加

Java代码

try {

ResultSetMetaData meta = rsgetMetaData();

int columnCount = metagetColumnCount();

strutName = new String[columnCount];

strutType = new byte[columnCount];

rslast();

int itemCount = rsgetRow();

rsfirst();

data = new Object[itemCount][columnCount];

for (int i = 1; i <= columnCount; i++){

int type = (byte) metagetColumnType(i);

//2是BigDecimal

if(type == 2){

strutType[i-1] = DBFFieldFIELD_TYPE_N;

}

//12是String

else if(type == 12){

strutType[i-1] = DBFFieldFIELD_TYPE_C;

}

//91是javautilDate

else if(type == 91){

strutType[i-1] = DBFFieldFIELD_TYPE_D;

}

strutName[i-1] = metagetColumnName(i);

}

for (int i = 0; rsnext(); i++){

for (int j = 0; j < columnCount; j++){

Object da = rsgetObject(j+1);

if(da instanceof BigDecimal){

Double d = DoubleparseDouble(datoString());

data[i][j] = d;

}else{

data[i][j] = da;

}

}

}

}catch (Exception e){

eprintStackTrace();

}finally{

rs = null;

}

上面采用的是传统方法进行导出dbf文件，如果大数据量导出时，就要先将文件生成到服务器端，然后从response里拿输入流，将刚生成的文件写到客户端，也就是多一个文件流写入的过程。

MySQL 在崩溃恢复时，会遍历打开所有 ibd 文件的 header page 验证数据字典的准确性，如果 MySQL 中包含了大量表，这个校验过程就会比较耗时。 MySQL 下崩溃恢复确实和表数量有关，表总数越大，崩溃恢复时间越长。另外磁盘 IOPS 也会影响崩溃恢复时间，像这里开发库的 HDD IOPS 较低，因此面对大量的表空间，校验速度就非常缓慢。另外一个发现，MySQL 8 下正常启用时居然也会进行表空间校验，而故障恢复时则会额外再进行一次表空间校验，等于校验了 2 遍。不过 MySQL 80 里多了一个特性，即表数量超过 5W 时，会启用多线程扫描，加快表空间校验过程。

如何跳过校验MySQL 57 下有方法可以跳过崩溃恢复时的表空间校验过程嘛？查阅了资料，方法主要有两种：

1 配置 innodb_force_recovery可以使 srv_force_recovery != 0 ，那么 validate = false，即可以跳过表空间校验。实际测试的时候设置 innodb_force_recovery =1，也就是强制恢复跳过坏页，就可以跳过校验，然后重启就是正常启动了。通过这种临时方式可以避免崩溃恢复后非常耗时的表空间校验过程，快速启动 MySQL，个人目前暂时未发现有什么隐患。2 使用共享表空间替代独立表空间这样就不需要打开 N 个 ibd 文件了，只需要打开一个 ibdata 文件即可，大大节省了校验时间。自从听了姜老师讲过使用共享表空间替代独立表空间解决 drop 大表时性能抖动的原理后，感觉共享表空间在很多业务环境下，反而更有优势。

临时冒出另外一种解决想法，即用 GDB 调试崩溃恢复，通过临时修改 validate 变量值让 MySQL 跳过表空间验证过程，然后让 MySQL 正常关闭，重新启动就可以正常启动了。但是实际测试发现，如果以 debug 模式运行，确实可以临时修改 validate 变量，跳过表空间验证过程，但是 debug 模式下代码运行效率大打折扣，反而耗时更长。而以非 debug 模式运行，则无法修改 validate 变量，想法破灭。

以上就是关于python执行sql，并保存到excel，很慢全部的内容，包括:python执行sql，并保存到excel，很慢、java项目，我上传dbf文件，解析文件数据保存到数据库里，数据量太大，速度太慢、MySQL数据库服务器逐渐变慢 该如何分析与解决等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！