pd把100万excel表格导入mysql数据库要多久

pd把100万excel表格导入mysql数据库要多久,第1张

20秒。将Excel表格100万数据转成csv文件导入到Mysql,用20多秒导入百万数据。MicrosoftExcel是微软公司的办公软件Microsoftoffice的组件之一。

import pandas as pd

from sqlqlchemy import create_engine

def getData(path):

        data = pd.read_excel(path)

        return data

def writeData(data):

        conn = create_engine(

                                           "mysql+pymysql://root:keijay@localhost:3306/db_name?charset=utf8")

        pd.io.sql.to_sql(data, "table_name", con = conn,index = False)

if __name__ == "__main__":

        path = "E:\datasets\test.xlsx"

        data = getData(path)

         writeData(data)

遇到问题:

  1、写入完成后有告警:

        解决方法:

              pip install mysql-connect-python -i https://pypi.douban.com/simple

              将:

                    conn = create_engine(

"mysql+pymysql ://root:keijay@localhost:3306/db_name?charset=utf8")

              修改为:

                      conn = create_engine(

" mysql+mysqlconnector ://root:keijay@localhost/test_python?charset=utf8")


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/7380862.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-05
下一篇 2023-04-05

发表评论

登录后才能评论

评论列表(0条)

保存