需求:将excel表中的数据通过PYTHON脚本编写,每日自动导入到oracle数据库相应的一张表格中。

需求:将excel表中的数据通过PYTHON脚本编写,每日自动导入到oracle数据库相应的一张表格中。,第1张

1确定方案

eg excel data 文件 -> oracle data 文件 (其实导入工具已经至此某些excel格式,不需要python再转换)

2了解中间文件格式,或者定出中间sql文件规约

3选型技术,找python库 google python+excel,选定导入方式

4 开工写code

因工作需要,要将存放在sql server数据库中的数据全部导入到mysql数据库中,在网上搜集相关资料,找到两种方法,现在分别谈谈对他们的看法。

第一种是安装mysql ODBC,利用sql server的导出功能,选择mysql数据源,进行数据的直接导出,这种方法很简便,但是针对实际应用有很多弊端,最主要体现就是数据类型问题,首先,sql server数据库中

的ntext,image等数据类型的数据无法直接写入到mysql数据库中,据说只要稍加改动就可以,可惜偶这只菜鸟还没想到如何改动,其次,因为偶在mysql中的数据库设计中将时间都设成int型(保存的是时间戳),所以在数据导过来后,就会出现冲突,再次,这种方法生成的mysql数据表的字段类型都不很合适,所以此种方法我觉得不能提倡。

第二种是利用php或asp脚本来实现数据的导入功能,这种方法需要编写程序,但灵活性大, *** 作也不是那么困难,一切都尽在你的掌握之中,现简单介绍一下该方法

前提条件是你的mysql环境已经搭建好了,先建好目标数据库,再将所有的表结构用sql语句生成,现在万事具备,只缺数据了。

可以通过下面的php脚本来实现sql server中mydb数据库的user表中数据向mysql中mydb数据库导入

<

$cnx = odbc_connect('web', 'admin', '123456');//'web'是sqlserver中mydb的数据源名,'admin'是访问mydb的用户名,'123456'是访问mydb的密码

$cur= odbc_exec( $cnx, 'select from user' );//打开sql server中mydb数据库的user表

$num_row=0;

$conn=mysql_pconnect("localhost","root","123456");// 连接mysql

@mysql_select_db('mydb',$conn) or

die("无法连接到数据库,请与管理员联系!");//打开mysql的mydb数据库

while( odbc_fetch_row( $cur )) //从sql server的mydb库中的user表逐条取出数据,如果对数据进行选择,可在前面的select语句中加上条件判断

{

$num_row++;

$field1 = odbc_result( $cur, 1 ); // 这里的参数i(1,2,3)指的是记录集中的第i个域,你可以有所选择地进行选取,fieldi得到对应域的值,然后你可以詅ieldi进行 *** 作

$field2 = odbc_result( $cur, 2 );

$field3 = odbc_result( $cur, 3 );

$field4 = odbc_result( $cur, 4 );

$field5 = odbc_result( $cur, 5 );

$field6 = odbc_result( $cur, 6 );

$field5 = timetoint($field5); //这里是对sql server中的datetime类型的字段进行相应转换处理,转换成我所需要的int型

$querystring = "insert into user

(id,name,username,password,recdate)

values('$field1','$field2','$field3','$field4','$field5')" ;

mysql_query($querystring,$conn);

}

function timetoint($str){

$arr1=split(" ",$str);

$datestr=$arr1[0];

$timestr=$arr1[1];

$arr_date=split("-",$datestr);

$arr_time=split(":",$timestr);

$year=$arr_date[0];

$month=$arr_date[1];

$day=$arr_date[2];

$hour=$arr_time[0];

$minute=$arr_time[1];

$second=$arr_time[2];

$time_int=mktime($hour,$minute,$second,$month,$day,$year);

return $time_int;

}

>

将该段脚本存成sqlphp,在服务器上执行,就可以将服务器上sql server中mydb数据库的user表中的数据导入到mysql中mydb数据库的user表中去。其他表的 *** 作与此雷同,就不赘述了。

下面再介绍一下asp脚本实现sql server中mydb数据库的数据向mysql中mydb数据库导入

<%

set conn=servercreateobject("adodbconnection")

connopen 'web', 'admin', '123456' // 'web'是sqlserver中mydb的数据源名,'admin'是访问mydb的用户名,'123456'是访问mydb的密码

set rs=servercreateobject("adodbrecordset")

sql="select ID,name,username,password,datediff(s,'1970-01-01 00:00:00',recdate)-83600,reid,filename,fileContentType,filevalue from senddate" //这条sql语句实现了将datetime类型的recdate字段转化成unix时间戳的int型

rsopen sql,conn,1,3

set conn1=servercreateobject("adodbconnection")

conn1open "myoa","root","q1-d6=7"

i=1

do while not rseof

field1 = rs(0)

field2 = rs(1)

field3 = rs(2)

field4 = rs(3)

field5 = rs(4)

sql1 = "insert into user(ID,name,username,password,recdate)

values("&field1&",'"&field2&"','"&field3&"','"&field4&"',"&field5&")"

conn1execute sql1

rsmovenext

i=i+1

loop

rsclose

set rs=nothing

connclose

set conn=nothing

conn1close

set conn1=nothing

%>

以上两个是分别采用php脚本和asp脚本对user表的数据进行由sql server到mysql的导入其间我采用2种回避的方法来避免ntext,image类型数据的传递,一种是将ntext字段改为nvarchar(4000),因为实际情况,原始数据中该字段的数据长度都未超过4000个字,所以并没有出现数据截断,另一个手段是将image类型数据取出来写到文件中,以文件形式保存,将文件路径存到数据库中,方法见下:

function makeattach(fileContentType,filevalue,i)

select case fileContentType

case "application/msword"

ext="doc"

case "application/vndms-excel"

ext="exl"

case "application/vndms-powerpoint"

ext="pps"

case "application/x-rar-compressed"

ext="rar"

case "application/x-zip-compressed"

ext="zip"

case "image/gif"

ext="gif"

case "image/pjpeg"

ext="jpg"

case "text/plain"

ext="txt"

case else

ext="x"

end select

if ext<>"x" then

set fso=servercreateobject("FileSystemObject")

fName="attech"&i&""&ext

Dir="d:attach"

If fsoFileExists(Dir & fName) Then fsodeletefile Dir & fName

If fName<>"" AND NOT fsoFileExists(Dir & fName) Then

Set strm1=ServerCreateObject("ADODBStream")

strm1Open

strm1Type=1 'Binary

strm1Write filevalue

strm1SaveToFile Dir & fName,2

Set strm1=Nothing

end if

makeattach=fName

end if

end function

这个函数有3个输入参数,第一个是文件的contentType,第二个是文件的二进制数值,第三个是个可以区别文件名的变量,先根据contentType确定所存文件的后缀名,然后就是将二进制数值保存成指定文件名的文件,并将文件名作为输出参数返回,将返回的参数作为数据写到mysql的数据库中保存。

时间匆忙,先总结到这里,希望这些文字能对有需要的人有些帮助,少走些弯路,感谢您的阅读。:)

登陆到mssql数据库上,找到系统默认数据库,右键-任务-生成脚本USE [master]

GO

IF NOT EXISTS (SELECT name FROM sysdatabases WHERE name = N'ReportServerTempDB')

BEGIN

CREATE DATABASE [ReportServerTempDB] ON PRIMARY

(

NAME = N'ReportServerTempDB',

FILENAME = N'C:\Program Files\Microsoft SQL Server\MSSQL1\MSSQL\DATA\ReportServerTempDBmdf' ,

SIZE = 2240KB ,

MAXSIZE = UNLIMITED,

FILEGROWTH = 1024KB

)

LOG ON

(

NAME = N'ReportServerTempDB_log',

FILENAME = N'C:\Program Files\Microsoft SQL Server\MSSQL1\MSSQL\DATA\ReportServerTempDB_logLDF' ,

SIZE = 832KB ,

MAXSIZE = 2048GB ,

FILEGROWTH = 10%

)

END

以上就是关于需求:将excel表中的数据通过PYTHON脚本编写,每日自动导入到oracle数据库相应的一张表格中。全部的内容,包括:需求:将excel表中的数据通过PYTHON脚本编写,每日自动导入到oracle数据库相应的一张表格中。、如何写jsp脚本来实现sqlserver数据导入到mysql数据库、如何通过SQL脚本创建数据库等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9861192.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-02
下一篇 2023-05-02

发表评论

登录后才能评论

评论列表(0条)

保存