1) mysql用集群而不要用单机版
2)试着修改mysql的存储引擎,当然这影响数据恢复的策略
3)表是否设置了主键或索引影响插入速度
4)采用数据二次提交的方式,也就是关闭默认的autocommit,设置为0,然后每插入10000条再commit一下,采用这种方式起码每秒处理1w条的性能还是有的
5) 换硬盘,上raid或SSD,这个严重影响数据写入速度
6) 还可以试试用load data的方式,适合将现有的文本数据导入
Python *** 作Access数据库步骤之1、建立数据库连接
import win32comclient
conn = win32comclientDispatch(r'ADODBConnection')
DSN = 'PROVIDER=MicrosoftJetOLEDB40;DATA SOURCE=C:/MyDBmdb;'
connOpen(DSN)
Python *** 作Access数据库步骤之2、打开一个记录集
rs = win32comclientDispatch(r'ADODBRecordset')
rs_name = 'MyRecordset'#表名
rsOpen('[' + rs_name + ']', conn, 1, 3)
Python *** 作Access数据库步骤之3、对记录集 *** 作
rsAddNew()
rsFieldsItem(1)Value = 'data'
rsUpdate()
Python *** 作Access数据库步骤之4、用SQL来插入或更新数据
conn = win32comclientDispatch(r'ADODBConnection')
DSN = 'PROVIDER=MicrosoftJetOLEDB40;DATA SOURCE=C:/MyDBmdb;'
sql_statement = "Insert INTO [Table_Name] ([Field_1],
[Field_2]) VALUES ('data1', 'data2')"
connOpen(DSN)
connExecute(sql_statement)
connClose()
Python *** 作Access数据库步骤之5、遍历记录
rsMoveFirst()
count = 0
while 1:
if rsEOF:
break
else:
countcount = count + 1
rsMoveNext()
注意:如果一个记录是空的,那么将指针移动到第一个记录将导致一个错误,因为此时recordcount是无效的。解决的方法是:打开一个记录集之前,先将Cursorlocation设置为3,然后再打开记录集,此时recordcount将是有效的。例如:
rsCursorlocation = 3 # don't use parenthesis here
rsOpen('Select FROM [Table_Name]', conn) # be sure conn is open
rsRecordCount # no parenthesis here either
下载mysqlconnector库
然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库,当然也可以建表,一般我没用python建表 是先建好再写数据的
import mysqlconnector
conn = mysqlconnectorconnect(
user='root',
password='root',
host='127001',
port='3306',
database='test_demo'
)
cursor = conncursor()
cursorexecute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursorexecute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])
print(' %s %s 数据保存成功 '%(user_rank,user_name))
conncommit()
cursorclose()
方法:
del dict2['name']#删除键为“name”的条目。
dict2clear()#删除 dict2 中所有的条目
del dict2#删除整个 dict2 字典
dict2pop('name')#删除并返回键为“name”的条目!
以上就是关于python如何在文本框中输入信息插入到数据库全部的内容,包括:python如何在文本框中输入信息插入到数据库、如何在Python 中导入access 数据、python怎样将数据存入mysql数据库等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)