数据迁移是什么意思

数据迁移是什么意思,第1张

数据迁移,是指将正在提供线上服务的数据,从一个地方迁移到另一个地方。按照迁移过程中业务是否中断,可以细分为离线迁移和在线迁移。根据数据所处层次,可以分为cache迁移和存储迁移;根据数据迁移前后的变化,又可以分为平移和转移。

总体来说,主流数据库并不存在明确的好坏之分,每一种数据库都有各自的优缺点,最主要还是看它是否能够满足您的需求。

总的来说,选择数据库可以从以下角度考虑:

从个人角度出发的话,如果是以学习和小型业务需求为主,推荐使用MySQL,它的优势在于:

成本(免费)

自由(完全开源,适用多个场景)

性能(体积小但速度快)

这三点决定了MySQL数据库的超高性价比。并且目前有不少主流公司仍然青睐MySQL,大名鼎鼎的Fackbook就依然在延续MySQL的使用。

2 如果是企业角度出发,主流的大型数据库如Oracle、Sql Server以及近些年来大数据领域十分火热的非关系型数据库,例如Redis、HBse等等,都可以作为考虑的对象。

接下来具体列举一些常用数据库的优缺点,希望能为大家提供参考:

MySQL:

优势:

MySQL是开放源代码的数据库,任何人都可以获得该数据库的源代码。

MySQL能够实现跨平台 *** 作,可以在Windows、UNIX、Linux和Mac OS等 *** 作系统上运行。

MySQL数据库是一款自由软件,大部分应用场景下都是免费使用。

MySQL功能强大且使用方便,社区生态繁荣,有诸多学习资料。

缺点:规模小,功能有限。

SQL Server

高度可扩展:可以从单一的笔记本电脑上运行任何东西或以高倍云服务器网络运行,或在两者之间任何东西。

“虽然说是“任何东西”,但是仍然要满足相关的软件和硬件的要求“

生态链广:具有内置的商务智能工具,以及一系列的分析和报告工具,可以创建数据库、备份、复制,带来了更好的安全性。

Oracle

Oracle数据库系统是目前世界上流行的关系数据库管理系统,具有以下特点:

可移植性好(在各类大、中、小、微机环境中都适用)

使用方便、

功能强

因此,Oracle是一种高效率、可靠性好的、适应高吞吐量的数据库解决方案。

DB2

DB2是IBM开发的一种大型关系型数据库平台。它支持多用户或应用程序在同一条SQL 语句中查询不同database甚至不同DBMS中的数据。它的应用特点如下:

支持面向对象的编程:db2支持复杂的数据结构,如无结构文本对象,可以对无结构文本对象进行布尔匹配、最接近匹配和任意匹配等搜索。可以建立用户数据类型和用户自定义函数。

支持多媒体应用程序:db2支持大二分对象(blob),允许在数据库中存取二进制大对象和文本大对象。其中,二进制大对象可以用来存储多媒体对象。

具有良好的备份和恢复能力

支持存储过程和触发器,用户可以在建表时显示的定义复杂的完整性规则

支持异构分布式数据库访问,支持数据复制

PostgreSQL

PostgreSQL 是一个免费的对象-关系数据库服务器(ORDBMS),它的 Slogan 是 “世界上最先进的开源关系型数据库”。

PostgreSQL具有如下特征:

函数:通过函数,可以在数据库服务器端执行指令程序。

索引:用户可以自定义索引方法,或使用内置的 B 树,哈希表与 GiST 索引。

触发器:触发器是由SQL语句查询所触发的事件。如:一个INSERT语句可能触发一个检查数据完整性的触发器。触发器通常由INSERT或UPDATE语句触发。 多版本并发控制:PostgreSQL使用多版本并发控制(MVCC,Multiversion concurrency control)系统进行并发控制,该系统向每个用户提供了一个数据库的”快照”,用户在事务内所作的每个修改,对于其他的用户都不可见,直到该事务成功提交。

规则:规则(RULE)允许一个查询能被重写,通常用来实现对视图(VIEW)的 *** 作,如插入(INSERT)、更新(UPDATE)、删除(DELETE)。

数据类型:包括文本、任意精度的数值数组、JSON 数据、枚举类型、XML 数据等。

全文检索:通过 Tsearch2 或 OpenFTS,83版本中内嵌 Tsearch2。

NoSQL:JSON,JSONB,XML,HStore 原生支持,至 NoSQL 数据库的外部数据包装器。

数据仓库:能平滑迁移至同属 PostgreSQL 生态的 GreenPlum,DeepGreen,HAWK 等,使用 FDW 进行 ETL

我们公司最近决定将数据迁移到亚马逊云科技,打算使用Amazon Database Migration Service这项服务。源数据库在迁移过程中可继续正常运行,从而最大程度地减少依赖该数据库的应用程序的停机时间。这项服务的使用案例还有同构数据库迁移、异构数据库迁移、开发和测试、数据库整合和连续数据库复制。

开始菜单--->程序,打开SQL Server Management Studio(即我们的SQL 2005)

连接服务器后,找到我们需要迁移的数据,右键点击属性

在数据库属性里面,点击文件,可查看数据库文件和数据库日志文件的存放路径

确定没有任何其它用户连接到此数据库后,点击该数据库-->任务-->分离

我们可以看到分离以后,刚刚那个数据库,已经不在此列表

进入刚刚我们第3步属性里面看到的数据库文件路径如下图把我们的ZNLCRMmdf数据库文件和ZNLCRM_LogLdf数据库日志文件拷贝到另外一台服务器

在另外台服务器上打开SQL数据库与第1步一样点击数据库--->附加

在附加数据库里面,点击添加,如下图所示

找到刚刚拷贝过来的ZNLCRMmdf文件选中该文件,依次点击确定(注意日志文件会自动一起加载过来)

然后我们就可以看到,一个完整的数据库就直接被迁移过来如下图

对于程序中的string型字段,SQLServer中有char、varchar、nchar、nvarchar四种类型来对应(暂时不考虑text和ntext),开建立数据库中,对这四种类型往往比较模糊,这里做一下对比。 定长或变长

所谓定长就是长度固定的,当输入的数据长度没有达到指定的长度时将自动以英文空格在其后面填充,使长度达到相应的长度;有var前缀的,表示是实际存储空间是变长的,比如varchar,nvarchar变长字符数据则不会以空格填充,比较例外的是,text存储的也是可变长。 Unicode或非Unicode

数据库中,英文字符只需要一个字节存储就足够了,但汉字和其他众多非英文字符,则需要两个字节存储。如果英文与汉字同时存在,由于占用空间数不同,容易造成混乱,导致读取出来的字符串是乱码。Unicode字符集就是为了解决字符集这种不兼容的问题而产生的,它所有的字符都用两个字节表示,即英文字符也是用两个字节表示。而前缀n就表示Unicode字符,比如nchar,nvarchar,这两种类型使用了Unicode字符集。 基于以上两点来看看字段容量

char,varchar最多8000个英文,4000个汉字nchar,nvarchar可存储4000个字符,无论英文还是汉字使用(个人偏好)

如果数据量非常大,又能100%确定长度且保存只是ansi字符,那么char

能确定长度又不一定是ansi字符或者,那么用nchar;

对于超大数据,如文章内容,使用nText

其他的通用nvarchar

1、使用 Flask-Migrate 实现数据库迁移

dbcreate_all()不会重新创建表或是更新表,需要先使用dbdrop_all()删除数据库中所有的表之后再调用dbcreate_all()才能重新创建表,但是这样的话,原来表中的数据就都被删除了,这肯定是不行的,这时就出现了数据库迁移的概念。

在开发过程中,随着需求的变化,有可能需要添加或修改表的一些字段,但是原表中的数据不能删除,此时就需要创建新表,并将旧表中的数据迁移至新表中,Flask-Migrate这个扩展就可以在不破坏数据的情况下更新数据库表的结构,并完成数据从旧表到新表的迁移。

2、Flask-Migrate的使用

可以使用pip install flask-migrate进行安装。在程序中,我们实例化 Flask_Migrate 提供的 Migrate 类,进行初始化 *** 作。

实例化 Migrate 类,需要传入 Flask 实例 app 和 SQLAlchemy创建的实例 db。

21 数据库的迁移过程

先定义 User 模型类。

创建迁移环境

在开始迁移数据之前,需要先使用下面的命令创建一个迁移环境:

迁移环境只需创建一次,创建后会在项目根目录下生成一个 migrations 目录,其中包含了自动生成的配置文件和迁移版本目录。

生成迁移脚本

使用如下命令自动生成迁移脚本:

-m 选项添加备注信息,执行后迁移版本目录生成了迁移脚本。

迁移脚本内有两个函数:

upgrade():把迁移中的改动应用到数据库中

downgrade():将改动撤销

自动生成的迁移脚本会根据模型定义和数据库当前状态的差异,生成upgrade()和downgrade()函数的内容,不一定完全正确,有必要再进行检查一下。

更新数据库

生成了迁移脚本后,使用flask db upgrade命令可完成对数据库的更新。执行后即可生成数据库及表。

如果之后我们需要改动 user 表中的字段,比如添加一个mobile字段,我们只需在 User 模型类中添加该属性,之后执行flask db migrate -m '注释'和flask db upgrade命令即可。

如果想要回滚迁移的话,可以执行flask db downgrade命令。

3、总结

这里只是介绍如何在 Flask 中进行数据库迁移,关于在生产环境下,是否需要使用迁移工具或者使用何种工具进行迁移,这里不做讨论,至于我的话,在生产环境中,我没有使用过Flask-Migrate,而是选择编写 SQL 脚本来处理数据库及表的更新或改动,我觉得这样更不容易出错,其实各有各的好处,看自己选择。

以上就是关于数据迁移是什么意思全部的内容,包括:数据迁移是什么意思、什么数据库比较热门、亚马逊云科技都是怎么帮助企业快速实现数据库迁移的等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9525601.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-29
下一篇 2023-04-29

发表评论

登录后才能评论

评论列表(0条)

保存