可以,但难易程度取决于在下面哪个阶段获取这个数据
客户端软件-->客户端网卡-->路由-->(网络)-->服务器网卡-->>
可以。
连接数据库并读取下载数据,用读取到的数据,然后导出至本地,并且在数据库中也创建一个用户最大连续表用读取到的数据,筛选出每个用户的最大连续登陆天数,然后导出至本地,并且在数据库中也创建一个用户最大连续表。
使用pymsql和sqlalchemy库结合着pandas导出dataframe至数据库的方法,如果后期需要追加导入数据,可以将原先数据读出和现有数据进行上下合并,再重新导入。
with open("fileinfotxt", "rt") as handle:
datas = [lnsplit('\t') for ln in handle]
conn = MySQLdbconnect(host='localhost', user='mysql', passwd='', db='db')
curr = conncursor()
currexecutemany("insert into tb values (, , )", datas)
conncommit()
python32 ==> ORM(或者数据库接口) ==> 数据库数据库:PostgreSQL9、SQLite3等ORM:SQLAlchemy(需要安装数据库接口)数据库接口:psycopg2(PostgreSQL9)建议使用ORM样创建、修改、删除时只涉及python类对象无需写sql语句修改了数据表结构时对程序修改也方便些表间关系特别复杂也ORM直接写sql语句
通过python将大批excel数据导入mysql:
利用Python从EXCEL中读取两列数据存储在LIST中然后连接数据库利用insert语句和LIST 内容结合,导入数据库;然后再从数据库读取表的字段和内容,存放到EXCEL新表中即可。
以下的导入的核心代码:
#按照说明安装即可
import win32comclient as win32
import MySQLdb
app='Excel'
#启动EXCEL程序
xl=win32gencacheEnsureDispatch('%sApplication' % app)
#打开相应的EXCEL文件
xlbook=win32Dispatch('ExcelApplication')WorkbooksOpen('D:\\pyd\\opsdataxls')
#读取EXCEL工具表,打开要导入数据的表
sh=xlbookWorksheets('sheet2')
#建立一个空LIST和两个循环参数
dfun=[]
jcount=2
ncount=1
#从第一列开始向下循环,找到为空的那一行返回行数,即为第ncount行为空
for ncount in range(1,65566):
if shCells(ncount,1)Value==None:
break
else:
continue
#print ncount,测试代码,测试ncount值
#EXCEL的数据安排为第一行是字段,第二行开始是数据,故从第2行开始循环,将两列数据合并到一个LIST中
#LIST结构为[('a','b'),('c','d')]
for jcount in range(2,ncount):
dfunappend((shCells(jcount,1)Value,shCells(jcount,2)Value))
#关闭EXCEL程序
#xlApplicationQuit()
#print dfun,测试代码测试dfun的数据
#建立一个空LIST fo用来存放字段,读取EXCEL中第一行的字段存储到fo中
fo=[]
icount=1
for icount in range(1,2):
foappend((shCells(1,icount)Value,shCells(1,icount+1)Value))
#测试代码,print fo
#打开MYSQL链接
conn=MySQLdbconnect(host='localhost',user='root',passwd='0789asd',db='python')
#获取游标 *** 作
cursor=conncursor()
#建立一个空表
cursorexecute("create table test("+fo[0][0]+" varchar(100),"+fo[0][1]+" varchar(100));")
#利用executemany命令,将LIST,dfun中的数据通过insert语句写入数据库
cursorexecutemany("""insert into test values(%s,%s);""" ,dfun)
#确认数据 *** 作,注意如果没有conncommit()这个命令,数据无法被插入到数据库中
conncommit()
#执行查询检查结果
count = cursorexecute('select from test')
print 'has %s record' % count
#重置游标位置
cursorscroll(0,mode='absolute')
#搜取所有结果
results = cursorfetchall()
#测试代码,print results
#获取MYSQL里的数据字段
fields = cursordescription
#将字段写入到EXCEL新表的第一行
sh2=xlbookWorksheets('sheet3')
#清空sheet3
sh2CellsClear
for ifs in range(1,len(fields)+1):
sh2Cells(1,ifs)Value=fields[ifs-1][0]
#将读取的数据填入到相应的行列中
ics=2
jcs=1
for ics in range(2,len(results)+2):
for jcs in range(1,len(fields)+1):
sh2Cells(ics,jcs)Value=results[ics-2][jcs-1]
#关闭EXCEL程序
xlApplicationQuit()
#关闭游标和查询链接
cursorclose()
connclose()
from sqlalchemy import text
sql = text('select name from penguins')
result = dbengineexecute(sql)
思路就是 用flask 执行原生sql语句
写好查询A数据库到B数据库的语句 直接执行即可,效率最高
以上就是关于python可以获取post向网站后台数据库批量导入数据吗全部的内容,包括:python可以获取post向网站后台数据库批量导入数据吗、用Python导数据到mysql中遇到问题,小数后几位在导入数据库中直接被舍弃、pythonimport数据库可以import自己下载的数据等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)