在SQLServer成批导入数据

在软件项目实施的时候 数据导入一直是项目人员比较头疼的问题 其实 在SQL Server中集成了很多成批导入数据的方法 有些项目实施顾问头疼的问题 在我们数据库管理员眼中 是小菜一碟 现在的重点就是 如何让用户了解这些方法 让数据导入变得轻松一些

第一种方法 使用Select Into语句

若企业数据库都采用的是SQL Server数据库的话 则可以利用Select Into语句来实现数据的导入 Select Into语句 他的作用就是把数据从另外一个数据库中查询出来 然后加入到某个用户指定的表中

在使用这条语句的时候 需要注意几个方面的内容

一是需要在目的数据库中先建立相关的表 如想把进销存系统数据库(SQLServer)中的产品信息表(Product)导入到ERP系统中的产品信息表(M_Product)中 则前期是在ERP系统的数据库中已经建立了这张产品信息表

二是这种方法只复制表中的数据 而不复制表中的索引 如在进销存系统数据中的产品信息表中 在产品编号 产品种类等字段上建立了索引 则利用Select Into语句把数据复制到ERP系统的表中的时候 只是复制了数据内容的本身 而不会复制索引等信息

三是这条语句使用具有局限性 一般情况下 这只能够在SQL Server数据库中采用 不过 对于SQL Server不同版本的数据库 如 或者 还都是兼容的 若需要导入的对象数据库不是SQL Server的 则需要采用其他的方法

四是采用这条语句的话 在目的表中必须不存在数据 否则的话 目的表中的数据会被清除 也就是说 这个语句不支持表与表数据的合并 在SQL Server中 有一条类似的语句 可以实现这个功能 这条语句就是 Insert Into 他的作用就是把另外一张表中的数据插入到当前表中 若用户想要的时表与表数据的合并 则可以采用这条语句 两者不能够混淆使用 否则的话 很容易导致数据的丢失

五是以上两条语句都支持兼容的不同类型的数据类型 如在原标中 某个字段的数据类型是整数型 但是在目的表中这个字段的数据类型则是浮点型 只要这个两个数据类型本来就兼容的 则在导入的时候 数据库是允许的

第二种方法 利用Excel等中间工具进行控制

虽然第一种方法 *** 作起来比较简单 但是其也有一些缺点 如他只支持同一种类型的数据库不能够对数据进行过多的干预等等 一般情况下 若用户原数据准确度比较高 不需要过多的修改就可以直接拿来用的话 则笔者就已采用第一种方式

但是 若在原数据库中 数据的准确度不是很高 又或者 有很多数据是报废的 总之 需要对原数据库的数据进行整理 才能够使用的情况 笔者不建议先导入进去 再进行更改 笔者在遇到这种情况时 喜欢利用Excle作为中间工具 也就是说 先把数据中原数据库中导到Excle中 有些数据库 如Oracle数据库 他不支持Excle格式 但是 我们可以把它导为CSV格式的文件 这种文件Excle也可以打得开

然后 再在Excle中 对记录进行修改 由于Excle是一个很强的表格处理软件 所以 其数据修改 要比在数据库中直接修改来得方便 来得简单 如可以利用按时间排序等功能 把一些长久不用的记录清楚掉 也可以利用替换等功能 把一些不规范的字符更改掉 这些原来在数据库中比较复杂的任务 在Excle等工具中都可以轻松的完成

等到表中的内容修改无误后 数据库管理员就可以把Excle表格中的文件直接导入到SQL Server数据库中 由于SQL Server与Excel是同一个父母生的 所以 他们之间的兼容性很好 在Sql Server中提供了直接从Excel文件中导入数据的工具

虽然这要借助中间工具导入数据 但是 因为其处理起来方便 直观 所以 笔者在大部分时候都是采用这种方式

第三种方式 使用数据转换服务导入数据

数据转换服务是SQL Server数据库中提供的一个非常强大的工具 在SQLServer中 数据转换功能有一个图形用户接口 用户可以在图形界面中导入数据 并对数据进行相应的编辑

另外 数据转换服务还支持组件的编程接口 这也就是说 在前台应用程序开发的时候 可以直接调用数据转换服务 让用户通过前台应用系统 而不用在后台数据库系统进行任何的 *** 作 就可以把数据导入数据库系统中去 在前台对数据库系统进行导入 有一个明显的好处 就可以预先对数据的合法性进行检查 如可以利用VB等脚本语言对数据进行检验 净化和一定的转换 以符合目的数据库的需要

如在员工信息表中的婚姻状况字段 在Oracle数据库系统中 可能是用 或者 来表示婚姻状况 表示未婚 表示已婚 而在SQL Server数据库中 则利用Y或者N来表示婚姻状况 Y表示已婚 N表示未婚 在导入数据的时候 若直接把Oracle数据库表中的数据导入到SQL Server数据库中 因为婚姻状况这个字段存储的内容类型不同 所以 不能够直接导 遇到这种情况的话 则就可以在导入数据之前 先利用脚本语言对数据类型进行验证 若不符合要求的 则可以通过脚本语言对数据进行一定的转换 把 转换为N 把 转换为Y等等

所以 有时候程序员在开发前台应用程序的时候 若要开发数据导入功能的话 我们都是建议采用这个数据转换服务 不但有现成的接口 而且 还可以对数据进行验证与一定程度的转换 另外 数据转换服务的数据导入效率非常的高 即使通过前台程序调用 其性能也比其他方法在同等条件下 要高一个档次 而且 随着数据量的增加 数据转换服务的优势会越来越明显

不过 在前台应用程序调用数据转换服务的时候 需要注意 数据转换服务提供的接口比较复杂 所以 前台程序调用数据转换服务的代码也比较复杂 若再加上一些脚本语言的话 可能处理起来更加的繁琐 故一般只有在大型系统上才会用到这个接口 若数据不多 否则不需要复杂验证与转换的话 利用这个接口是大刀小用 得不偿失

第四种方式 异构数据库之间的导入导出

虽然第二种 第三种方式都可以完成异构数据库之间数据的导入导出作业 不过 在SQL Server中 还提供了另外一种解决方案 即直接在SQL Server数据库中连接到其他类型的数据库上 然后采用Select Into等语句实现数据的导入作业

在SQL Server中 提供了两个函数可以帮助我们实现对非SQL Server数据库的连接 这两个函数分别为Opendatesource与Openrowset 他们的功能基本相同 只是在细节上有所差异

如Opendatesource这个函数至能够打开源数据库的表和视图 而不能够对其进行过滤 若用户只想把源表中的部分数据导入到SQL Server数据库的表中 则不能对源表直接进行过滤 过滤的动作需要在SQL Server数据库中进行 而Openrowset这个函数 可以在打开对方数据库的表或者视图的时候 直接利用Where等条件限制语句对记录进新过滤 为此 在实际应用中 还是Openrowset这个函数使用的频率比较高

不过由于其需要用户写复杂的参数 而且 又不能够提供复杂的数据验证功能 所以在实际工作中用的并不是很多 在一些小的应用系统中 偶尔还可以见到其的踪影 在一些大的成熟的商业软件中 很少采用这种方式 对数据进行导入

lishixinzhi/Article/program/SQLServer/201311/22189

导入时把生成索引给关掉,应该能快一点.

不要一边导入一边建立索引.

8G数据,应该也不那么慢了.

把sql语句文件读取出一部分看看,建表语句中,应当有建立索引的部分,删掉它!

只做建表和插入数据两件事.

还有,看看数据库有没有外键?

尽量在插入数据过程中去掉外键关联.

等数据插入完成之后再加索引和外键,应该能提高很多读写性能.

截取一部分数据,例如100Mb.

插入一下试试,可以预先对整体时间有一个预期.

还有,真的要弄台好点的电脑,或者去借一台,等把数据导入完成之后,把msyql的库文件直接复制出来放自己机器上跑就好.

emm..

再追加点信息,要先搞明白,sql原文件里,到底都执行了哪几类 *** 作?

可能需要你用c之类写点小工具,或者别的什么语言,分块读取并处理文件.

8G..

嗯,还好.

现在内存都够大,否则你都没法直接用软件打开了.

只有8G也可以直接用软件打开看.

停掉索引真的可以大幅度加快插入数据的速度.

建议试一试!

---