Python 进行 Oracle 与 Mysql 不同数据库类型之间的数据 diff

项目工作中，可能会有 A 类型数据库数据需要迁移到 B 类型的数据库中的需求。 例如：假设现有一个数据库的迁移需求，是将 Oracle 数据库里的数据迁移至 Mysql 数据库中。 常规的测试方法是人工去抽样检测数据进行 diff，因为数据量太大，人工不可能实现全量数据的肉眼 diff。

因此，为提高数据 diff 的正确性以及测试效率，编写测试脚本进行全量迁移数据的 diff 是十分必要的。以下内容将会着重讲解如何使用 Python 编写脚本来实现 Oracle 与 Mysql 这种不同类型数据库之间数据的 diff。

1、连接oracle数据库并获取要提取的数据,并输出列表里面嵌入的字典类型的数据

2、连接mysql数据库并获取要提取的数据,并输出列表里面嵌入的字典类型的数据

3、Oracle 与 Mysql 数据库进行 diff，直接调用上面两个方法即可

4、执行后的输出结果

下载cx_Oracle，下载之后就可以使用了。

简单的使用流程如下：

1.引用模块cx_Oracle

2.连接数据库

3.获取cursor

4.使用cursor进行各种 *** 作

5.关闭cursor

6.关闭连接

参考代码：

import cx_Oracle                                          #引用模块cx_Oracle

conn=cx_Oracle.connect('load/123456@localhost/ora11g')    #连接数据库

c=conn.cursor()                                           #获取cursor

x=c.execute('select sysdate from dual')                   #使用cursor进行各种 *** 作

x.fetchone()

c.close()                                                 #关闭cursor

conn.close()                                              #关闭连接

应该是少了某些文件

前言

Python自带的模块中有很多 *** 纵文件的。我们可以把文件的数据读出来，经过处理还可以将数据写入文件中。但是对于数据的管理和分析来说，数据库还是专业一些。如果Python能和数据库结合在一起，那么就能结合两种的优势，提高效率。

工作中使用的是Oracle数据库，Python有一个模块cx_Oracle可以与Oracle相连。要使用cx_Oracle，就要先下载。

1. 下载cx_Oracle

Python一个官方网站PyPI，上面有丰富的模块。cx_Oracle就可以在PyPI中下载。打开PyPI的，在里面搜索cx_Oracle，即可找到该模块。当然也可以通过其它的途径下载。

下载之后就可以使用了。

2. 使用流程

简单的使用流程如下：

1.引用模块cx_Oracle

2.连接数据库

3.获取cursor

4.使用cursor进行各种 *** 作

5.关闭cursor

6.关闭连接

下面是一个简单的例子：

import cx_Oracle #引用模块cx_Oracle

conn=cx_Oracle.connect('load/123456@localhost/ora11g')#连接数据库

c=conn.cursor() #获取cursor

x=c.execute('select sysdate from dual') #使用cursor进行各种 *** 作

x.fetchone()

c.close() #关闭cursor

conn.close() #关闭连接

3. 几种用法

Python对数据库的 *** 作主要有2方面：一个是写数据，一个是读数据。这2个方面的实现可以通过SQL语句实现，也可以通过存储过程实现。所以cx_Oracle的主要用法有：

1. 执行SQL语句

2. 调用存储过程和函数。

4. 执行SQL语句

执行SQL语句很简单，从上面的例子就可以看出。使用cursor.execute即可执行。使用fetchone或fetchall即可将执行结果读出来。

下面一个例子是Insert语句，使用的变量绑定。

import cx_Oracle

conn=cx_Oracle.connect('load/123456@loaclhost/ora11g')

c=conn.cursor()

x=c.execute('insert into demo(v) values(:1)',['nice'])

conn.commit()

c.close()

conn.close()

变量绑定和Oracle的动态SQL一样，都是冒号将占位符，即代码中的:1，对变量的复制就是传入一个List，即代码中的['nice']。有多少个变量，list中就应该对应多少个值，数目要一致，否则会报错。

执行之后，可以使用连接的一个方法connect.commit()，将事务提交。

5. 调用存储过程和方法

直接上代码：

--存储过程代码：

CREATE OR REPLACE PROCEDURE P_DEMO(V1 IN VARCHAR2, V2 OUT VARCHAR2) IS

BEGIN

V2 := V1

END

#Python代码：

import cx_Oracle

conn=cx_Oracle.connect('load/123456@localhost/ora11g')

c=conn.cursor()

str1='nice'

str2=''#需要有值，即len(str2)>=len(str1)

x=c.callproc('p_demo',[str1,str2])

print(str2)

c.close()

conn.close()

调用存储过程使用的是cursor.callproc方法。上面的存储过程中，一个变量的值是OUT型的，在Python中，对OUT型的变量赋值，主要该变量的长度不能小于存储过程中的。

--函数代码：

CREATE OR REPLACE function F_DEMO(V1 VARCHAR2) RETURN VARCHAR2 IS

BEGIN

RETURN V1

END

#Python代码：

import cx_Oracle

conn=cx_Oracle.connect('load/123456@localhost/ora11g')

c=conn.cursor()

str1='nice'

str2=c.callfunc('f_demo',cx_Oracle.STRING,[str1])

print(str2)

c.close()

conn.close()

调用函数使用的方法是cursor.callfunc。这个与调用存储过程不同之处在于，它需要指定传输参数的类型。

结束

通过cx_Oracle，可以是Python与Oracle数据库相互沟通，这样两者就可以长处互补。

比如，可以将Python当成一个数据收集的工具，可以从Web，从文件中获取数据，然后将这些数据保存到Oracle数据库中，在Oracle数据库上进行数据的进一步分析。

---