Oracle向MySQL迁移

2023-11-13 来源：华拓网

Oracle向MySQL迁移

1.下载navicat Premium

2.选中工具技术图片

3.点开工具>数据传输（源为传送数据库连接名字，数据库名字，目标为接收数据连接名字，数据库名字）

技术图片

4.填好点击下一步后，点击开始，显示finally success，表明名倒入成功

技术图片

5.视图导入

Oracle视图和MySQL视图不同，前者多用视图嵌套子查询，而其刚好时MySQL不支持的，需要将视图子查询改为视图嵌套视图,，如：

create view v_student as select * from (select * from t_student) t;

ERROR 1349 (HY000): View‘s SELECT contains a subquery in the FROM clause

解决方法，view的嵌套：

create view v_tea_stu as select * from t_student;

Query OK, 0 rows affected (0.02 sec)

create view v_student as select * from v_tea_stu;

Query OK, 0 rows affected (0.00 sec)

6、Trigger、存储过程、package

1）Oracle创建触发器时允许or，MySQL不允许。所以迁移时如果有需要写两个。

2）两种数据库定义变量的位置不同，而且MySQL里不支持%type。这个在Oracle中用得比较频繁。

3）elseif的逻辑分支语法不同，并且MySQL里没有for循环。

4）在MySQL中不可以返回cursor，并且声明时就要赋对象。

5）Oracle用包来把存储过程分门别类，且在package里可以定义公共的变量/类型，既方便了编程，又减少了服务器的编译开销。可MySQL里根本没有这个概念。所以MySQL的函数也不可以重载。

6）预定义函数。MySQL里没有to_char() to_date()之类的函数，也并不是所有的Oracle都是好的，就像substring()和load_file()这样的函数，MySQL有，Oracle却没有。

7）MySQL里可以使用set和=号给变量赋值，但不可以使用：=。而且在MySQL里没 || 来拼接字符串。

8）MySQL的注释必须要求-- 和内容之间有一个空格。

9）MySQL存储过程中只能使用leave退出当前存储过程，不可以使用return。

10）MySQL异常对象不同，MySQL同样的可以定义和处理异常，但对象名字不一样。

7?分页语句

MySQL中使用的是limit关键字，但在Oracle中使用的是rownum关键字。所以每有的和分页相关的语句都要进行调整。

8?JOIN

如果你的SQL里有大量的（+），这绝对是一个很头疼的问题。需要改写。

9?group by语句

Oracle里在查询字段出现的列一定要出现在group by后面，而MySQL里却不用。只是这样出来的结果可能并不是预期的结果。造成MySQL这种奇怪的特性的归因于sql_mode的设置，一会会详细说一下sql_mode。不过从Oracle迁移到MySQL的过程中，group by语句不会有跑不通的情况，反过来迁移可能就需要很长的时间来调整了。

10?bitmap位图索引

在Oracle里可以利用bitmap来实现布隆过滤，进行一些查询的优化，同时这一特性也为Oracle一些数据仓库相关的操作提供了很好的支持，但在MySQL里没有这种索引，所以以前在Oracle里利于bitmap进行优化的SQL可能在MySQL会有很大的性能问题。

目前也没有什么较好的解决方案，可以尝试着建btree的索引看是否能解决问题。要求MySQL提供bitmap索引在MySQL的bug库里被人当作一个中级的问题提交了上去，不过至今还是没有解决。

11?分区表（Partitioned table）

需要特殊处理，与Oracle的做法不同，MySQL会将分区键视作主键和唯一键的一部分。为确保不对应用逻辑和查询产生影响，必须用恰当的分区键重新定义目标架构。

12?角色

MySQL8.0以前也没有role的对象。在迁移过程中如果遇到的角色则是需要拼SQL来重新赋权。不过MySQL更好的一点是MySQL的用户与主机有关。

13?表情和特殊字符

在Oracle里我们一般都选择AL32UTF8的字符集，已经可以支付生僻字和emoji的表情了，因为在迁移的时候有的表包含了大量的表情字符，在MySQL里设置了为utf8却不行，导过去之后所有的都是问号，后来改成了utf8mb4才解决问题，所以推荐默认就把所有的DB都装成utf8mb4吧。

14.数据检验

可以通过count（*）查询总条数，也可以通果etl工具校验

Oracle向MySQL迁移

标签：视图 limit create role 问号 date ble to_char erro

小编还为您整理了以下内容，可能对您也有帮助：

如何将Oracle数据导入MySQL

将Oracle数据导入MySQL方法：

先把oracle表中的数据另存在excel表中，再把excel表中数据导入到mysql中。

这里要将oracle中表eventlogs的数据导入到mysql中。

步骤如下：

1、在PL/SQL中用select * 搜索到eventlogs表的所有数据，然后右键点击"Copy to Excel";如下图所示：

2、将数据保存为excel表，并重名；如下图：

3、打开mysql的可视化工具，我这里是Navicat,选择表，点击导入向导；如下图所示：

4、选择上图中"导入类型"的"execel文件",然后点击"下一步"；如下图所示：

5、接下来会让你选择文件，选择你已经保存的excel文件，并选择“SQL Result”，如下图所示：

6、然后一直点击下一步，最后一步点击开始。会出现一个“sql result”的表，重命名为你想要的表即可。如图所示：

如何将oracle数据无缝转移到mysql上?

无缝是做不到的，但可以尽小改到语句。
oracle中要使用标准语句。

如何将oracle数据无缝转移到mysql上?

无缝是做不到的，但可以尽小改到语句。
oracle中要使用标准语句。

需要将oracle数据库里面的所有表转到mysql里面去，表有几十张，有什么工具，或者脚本么？

方法1、用Navicat Premium(Premium版可以同时连接oracle及mysql)，将oracle和mysql都配置好，点击tools菜单/Data Transfer。

方法2、用toad连接oracle,将表导出成xls文件，然后用Navicat 连接mysql，将文件导入mysql.

oracle迁移到mysql,怎么迁移索引和约束

这个问题分连个方面回答：
1、如果是单次工作：找一个工具转换一下。
比如：http://www.ispirer.cn/procts/oracle-to-mysql-migration 他们提供一个月的评估许可证密钥，它包含索引和约束迁移。
2、自己写脚本：参考这个http://blog.csdn.net/tswisdom/article/details/8438004
1）获取单个表的所有字段与类型

SELECT COLUMN_NAME, DATA_TYPE, DATA_LENGTH, NULLABLE, DATA_DEFAULT
FROM USER_TAB_COLUMNS WHERE TABLE_NAME = UPPER('{$table_name}') ORDER BY column_id ASC

2）获取单个表的索引
SELECT T.INDEX_NAME,T.COLUMN_NAME,I.INDEX_TYPE FROM USER_IND_COLUMNS T,USER_INDEXES I
WHERE T.INDEX_NAME = I.INDEX_NAME AND T.TABLE_NAME = I.TABLE_NAME AND
T.TABLE_NAME = UPPER('{$table_name}')

将所有的表信息组装成mysql的表结构有了表名，字段信息，主键，Foreign, Unique.索引等信息，就可以将表结构建立起来。

oracle迁移到mysql,怎么迁移索引和约束

oracle移植到mysql注意事项

1、遵守标准用法，尽量不使用某种数据库特有的用法。

如msyql的‘`’符号的用法，

再比如，很多人有这种用法，在使用oracle开发的时候创建sequence，往表中插数据之前先SELECT seq.nextval FROM DUAL;，然后把查询得到的值作为value插入表中，这种用法没法适应没有sequence的数据库，每个数据库都有自动增长型的用法，如果需要使用就应该完全地使用。

再举个例子，不同的数据库对分页查询作了扩展，postgresql有offset，limit，oracle就没有。

2、避免数据库大小写敏感的问题。

选择数据库表名和字段名采用大写还是小写，并且在数据库的设计和编码过程中完全统一。

3、保留字。

要求数据库设计者尽量不使用保留字作表名和字段名。也有很多人有这种用法，在表名和字段名前加‘_’，像这样：create table _tablename ( _id integer)。这样永远不会出现保留字引起的问题。

oracle移植到mysql注意事项

如何将Oracle数据导入MySQL

1、使用工具软件：navicat premium

2、配置MySQL和Oracle的连接

3、数据传输

怎么把oracle数据移植到mysql？

OGG全称为Oracle GoldenGate,是由Oracle官方提供的用于解决异构数据环境中数据复制的一个商业工具。相比于其它迁移工具OGG的优势在于可以直接解析源端Oracle的redo log，因此能够实现在不需要对原表结构做太多调整的前提下完成数据增量部分的迁移。本篇文章将重点介绍如何使用OGG实现Oracle到MySQL数据的平滑迁移，以及讲述个人在迁移过程中所碰到问题的解决方案。

（一）OGG逻辑架构

参照上图简单给大家介绍下OGG逻辑架构，让大家对OGG数据同步过程有个简单了解，后面章节会详细演示相关进程的配置方式，在OGG使用过程中主要涉及以下进程及文件：

Manager进程：需要源端跟目标端同时运行，主要作用是监控管理其它进程，报告错误，分配及清理数据存储空间，发布阈值报告等

Extract进程：运行在数据库源端，主要用于捕获数据的变化，负责全量、增量数据的抽取

Trails文件：临时存放在磁盘上的数据文件

Data Pump进程：运行在数据库源端，属于Extract进程的一个辅助进程，如果不配置Data Pump，Extract进程会将抽取的数据直接发送到目标端的Trail文件，如果配置了Data Pump，Extract进程会将数据抽取到本地Trail文件，然后通过Data Pump进程发送到目标端，配置Data Pump进程的主要好处是即使源端到目标端发生网络中断，Extract进程依然不会终止

Collector进程：接收源端传输过来的数据变化，并写入本地Trail文件中

Replicat进程：读取Trail文件中记录的数据变化，创建对应的DML语句并在目标端回放

二、迁移方案

（一）环境信息

OGG版本 OGG 12.2.0.2.2 For Oracle OGG 12.2.0.2.2 For MySQL

数据库版本 Oracle 11.2.0.4 MySQL 5.7.21

OGG_HOME /home/oracle/ogg /opt/ogg

（二）表结构迁移

表结构迁移属于难度不高但内容比较繁琐的一步，我们在迁移表结构时使用了一个叫sqlines的开源工具，对于sqlines工具在MySQL端创建失败及不符合预期的表结构再进行特殊处理，以此来提高表结构转换的效率。

注意：OGG在Oracle迁移MySQL的场景下不支持DDL语句同步，因此表结构迁移完成后到数据库切换前尽量不要再修改表结构。

（三）数据迁移

数据同步的操作均采用OGG工具进行，考虑数据全量和增量的衔接，OGG需要先将增量同步的抽取进程启动，抓取数据库的redo log，待全量抽取结束后开启增量数据回放，应用全量和增量这段期间产生的日志数据，OGG可基于参数配置进行重复数据处理，所以使用OGG时优先将增量进行配置并启用。此外，为了避免本章节篇幅过长，OGG参数将不再解释，有需要的朋友可以查看官方提供的Reference文档查询任何你不理解的参数。

1.源端OGG配置

（1）Oracle数据库配置

针对Oracle数据库，OGG需要数据库开启归档模式及增加辅助补充日志、强制记录日志等来保障OGG可抓取到完整的日志信息

查看当前环境是否满足要求，输出结果如下图所示：

（2）Oracle数据库OGG用户创建

OGG需要有一个用户有权限对数据库的相关对象做操作，以下为涉及的权限，该示例将创建一个用户名和密码均为ogg的Oracle数据库用户并授予以下权限

（3）源端OGG 管理进程(MGR)配置

（4）源端OGG 表级补全日志(trandata)配置

表级补全日志需要在最小补全日志打开的情况下才起作用,之前只在数据库级开启了最小补全日志(alter database add supplemental log data;)，redolog记录的信息还不够全面，必须再使用add trandata开启表级的补全日志以获得必要的信息。

（5）源端OGG 抽取进程(extract)配置

Extract进程运行在数据库源端，负责从源端数据表或日志中捕获数据。Extract进程利用其内在的checkpoint机制，周期性地检查并记录其读写的位置，通常是写入到本地的trail文件。这种机制是为了保证如果Extract进程终止或者操作系统宕机，我们重启Extract进程后，GoldenGate能够恢复到以前的状态，从上一个断点处继续往下运行，而不会有任何数据损失。

（6）源端OGG 传输进程(pump)配置

pump进程运行在数据库源端，其作用非常简单。如果源端的Extract抽取进程使用了本地trail文件，那么pump进程就会把trail文件以数据块的形式通过TCP/IP协议发送到目标端，Pump进程本质上是Extract进程的一种特殊形式，如果不使用trail文件，那么Extract进程在抽取完数据后，直接投递到目标端。

补充：pump进程启动时需要与目标端的mgr进程进行连接，所以需要优先将目标端的mgr提前配置好，否则会报错连接被拒绝，无法传输抽取的日志文件到目标端对应目录下

（7）源端OGG 异构mapping文件(defgen)生成

该文件记录了源库需要复制的表的表结构定义信息，在源库生成该文件后需要拷贝到目标库的dirdef目录，当目标库的replica进程将传输过来的数据apply到目标库时需要读写该文件，同构的数据库不需要进行该操作。

2.目标端OGG配置

（1）目标端MySQL数据库配置

确认MySQL端表结构已经存在

MySQL数据库OGG用户创建

mysql> create user 'ogg'@'%' identified by 'ogg';

mysql> grant all on *.* to 'ogg'@'%';

#### 提前创建好ogg存放checkpoint表的数据库

mysql> create database ogg;

（2）目标端OGG 管理进程(MGR)配置

目标端的MGR进程和源端配置一样，可直接将源端配置方式在目标端重复执行一次即可，该部分不在赘述

（3）目标端OGG 检查点日志表(checkpoint)配置

checkpoint表用来保障一个事务执行完成后，在MySQL数据库从有一张表记录当前的日志回放点，与MySQL复制记录binlog的GTID或position点类似。

#### 切换至ogg软件目录并执行ggsci进入命令行终端

shell> cd $OGG_HOME

shell> ggsci

ggsci> edit param ./GLOBALS

checkpointtable ogg.ggs_checkpoint

ggsci> dblogin sourcedb ogg@17X.1X.84.121:3306 userid ogg

ggsci> add checkpointtable ogg.ggs_checkpoint

（4）目标端OGG 回放线程(replicat)配置

Replicat进程运行在目标端，是数据投递的最后一站，负责读取目标端Trail文件中的内容，并将解析其解析为DML语句，然后应用到目标数据库中。

#### 切换至ogg软件目录并执行ggsci进入命令行终端

shell> cd $OGG_HOME

shell> ggsci

#### 添加一个回放线程并与源端pump进程传输过来的trail文件关联，并使用checkpoint表确保数据不丢失

ggsci> add replicat r_cms,exttrail /opt/ogg/dirdat/ms,checkpointtable ogg.ggs_checkpoint

#### 增加/编辑回放进程配置文件

ggsci> edit params r_cms

replicat r_cms

targetdb cms@17X.1X.84.121:3306,userid ogg,password ogg

sourcedefs /opt/ogg/dirdef/cms.def

discardfile /opt/ogg/dirrpt/r_cms.dsc,append,megabytes 1024

HANDLECOLLISIONS

MAP cms.*,target cms.*;

注意：replicat进程只需配置完成，无需启动，待全量抽取完成后再启动。

至此源端环境配置完成

待全量数据抽取完毕后启动目标端回放进程即可完成数据准实时同步。

3.全量同步配置

全量数据同步为一次性操作，当OGG软件部署完成及增量抽取进程配置并启动后，可配置1个特殊的extract进程从表中抽取数据，将抽取的数据保存到目标端生成文件，目标端同时启动一个单次运行的replicat回放进程将数据解析并回放至目标数据库中。

（1）源端OGG 全量抽取进程(extract)配置

#### 切换至ogg软件目录并执行ggsci进入命令行终端

shell> cd $OGG_HOME

shell> ggsci

#### 增加/编辑全量抽取进程配置文件

#### 其中RMTFILE指定抽取的数据直接传送到远端对应目录下

#### 注意：RMTFILE参数指定的文件只支持2位字符，如果超过replicat则无法识别

ggsci> edit params ei_cms

SOURCEISTABLE

SETENV (NLS_LANG = "AMERICAN_AMERICA.AL32UTF8")

SETENV (ORACLE_SID=cms)

SETENV (ORACLE_HOME=/data/oracle/11.2/db_1)

USERID ogg@appdb,PASSWORD ogg

RMTHOST 17X.1X.84.121,MGRPORT 7809

RMTFILE /opt/ogg/dirdat/ms,maxfiles 100,megabytes 1024,purge

TABLE cms.*;

#### 启动并查看抽取进程正常

shell> nohup ./extract paramfile ./dirprm/ei_cms.prm reportfile ./dirrpt/ei_cms.rpt &

## 查看日志是否正常进行全量抽取

shell> tail -f ./dirrpt/ei_cms.rpt

（2）目标端OGG 全量回放进程(replicat)配置

#### 切换至ogg软件目录并执行ggsci进入命令行终端

shell> cd $OGG_HOME

shell> ggsci

ggsci> edit params ri_cms

SPECIALRUN

END RUNTIME

TARGETDB cms@17X.1X.84.121:3306,USERID ogg,PASSWORD ogg

EXTFILE /opt/ogg/dirdat/ms

DISCARDFILE ./dirrpt/ri_cms.dsc,purge

MAP cms.*,TARGET cms.*;

#### 启动并查看回放进程正常

shell> nohup ./replicat paramfile ./dirprm/ri_cms.prm reportfile ./dirrpt/ri_cms.rpt &

#### 查看日志是否正常进行全量回放

shell> tail -f ./dirrpt/ri_cms.rpt

三、数据校验

数据校验是数据迁移过程中必不可少的环节，本章节提供给几个数据校验的思路共大家参数，校验方式可以由以下几个角度去实现：

1.通过OGG日志查看全量、增量过程中discards记录是否为0来判断是否丢失数据；

2.通过对源端、目标端的表执行count判断数据量是否一致；

3.编写类似于pt-table-checksum校验原理的程序，实现行级别一致性校验，这种方式优缺点特别明显，优点是能够完全准确对数据内容进行校验，缺点是需要遍历每一行数据，校验成本较高；

4.相对折中的数据校验方式是通过业务角度，提前编写好数十个返回结果较快的SQL，从业务角度抽样校验。

四、迁移问题处理

本章节将讲述迁移过程中碰到的一些问题及相应的解决方式。

（一）MySQL

在Oracle到MySQL的表结构迁移过程中主要碰到以下两个：

1. Oracle端的表结构因为最初设计不严谨，存在大量的列使用varchar(4000)数据类型，导致迁移到MySQL后超出行，表结构无法创建。由于MySQL本身数据结构的，一个16K的数据页最少要存储两行数据，因此单行数据不能超过65,535 bytes，因此针对这种情况有两种解决方式：

根据实际存储数据的长度，对超长的varchar列进行收缩；

对于无法收缩的列转换数据类型为text，但这在使用过程中可能导致一些性能问题；

2. 与第一点类似，在Innodb存储引擎中，索引前缀长度是767 bytes，若使用DYNAMIC、COMPRESSED行格式且开启innodblargeprefix的场景下，这个是3072 bytes，即使用utf8mb4字符集时，最多只能对varchar(768)的列创建索引；

3. 使用ogg全量初始化同步时，若存在外键约束，批量导入时由于各表的插入顺序不唯一，可能子表先插入数据而主表还未插入，导致报错子表依赖的记录不存在，因此建议数据迁移阶段禁用主外键约束，待迁移结束后再打开。

mysql>set global foreign_key_checks=off;

（二）全量与增量衔接

HANDLECOLLISIONS参数是实现OGG全量数据与增量数据衔接的关键，其实现原理是在全量抽取前先开启增量抽取进程，抓去全量应用期间产生的redo log，当全量应用完成后，开启增量回放进程，应用全量期间的增量数据。使用该参数后增量回放DML语句时主要有以下场景及处理逻辑：

目标端不存在delete语句的记录，忽略该问题并不记录到discardfile

目标端丢失update记录

- 更新的是主键值，update转换成insert

- 更新的键值是非主键，忽略该问题并不记录到discardfile

目标端重复insert已存在的主键值，这将被replicat进程转换为UPDATE现有主键值的行

（三）OGG版本选择

在OGG版本选择上我们也根据用户的场景多次更换了OGG版本，最初因为客户的Oracle 数据库版本为11.2.0.4，因此我们在选择OGG版本时优先选择使用了11版本，但是使用过程中发现，每次数据抽取生成的trail文件达到2G左右时，OGG报错连接中断，查看RMTFILE参数详细说明了解到trail文件默认为2G，后来我们替换OGG版本为12.3，使用MAXFILES参数控制生成多个指定大小的trail文件，回放时Replicat进程也能自动轮转读取Trail文件，最终解决该问题。但是如果不幸Oracle环境使用了Linux 5版本的系统，那么你的OGG需要再降一个小版本，最高只能使用OGG 12.2。

（四）无主键表处理

在迁移过程中还碰到一个比较难搞的问题就是当前Oracle端存在大量表没有主键。在MySQL中的表没有主键这几乎是不被允许的，因为很容易导致性能问题和主从延迟。同时在OGG迁移过程中表没有主键也会产生一些隐患，比如对于没有主键的表，OGG默认是将这个一行数据中所有的列拼凑起来作为唯一键，但实际还是可能存在重复数据导致数据同步异常，Oracle官方对此也提供了一个解决方案，通过对无主键表添加GUID列来作为行唯一标示，具体操作方式可以搜索MOS文档ID 1271578.1进行查看。

（五）OGG安全规则

报错信息

2019-03-08 06:15:22 ERROR OGG-01201 Error reported by MGR : Access denied.

错误信息含义源端报错表示为该抽取进程需要和目标端的mgr进程通讯，但是被拒绝，具体操作为：源端的extract进程需要与目标端mgr进行沟通，远程将目标的replicat进行启动，由于安全性现在而被拒绝连接。

报错原因

在Oracle OGG 11版本后，增加了新特性安全性要求，如果需要远程启动目标端的replicat进程，需要在mgr节点增加访问控制参数允许远程调用

解决办法

在源端和目标端的mgr节点上分别增加访问控制规则并重启

## 表示该mgr节点允许(ALLOW)10.186网段(IPADDR)的所有类型程序(PROG *)进行连接访问ACCESSRULE, PROG *, IPADDR 10.186.*.*, ALLOW

（六）数据抽取方式

报错信息

2019-03-15 14:49:04 ERROR OGG-01192 Trying to use RMTTASK on data types which may be written as LOB chunks (Table: 'UNIONPAYCMS.CMS_OT_CONTENT_RTF').

报错原因

根据官方文档说明，当前直接通过Oracle数据库抽取数据写到MySQL这种initial-load方式，不支持LOBs数据类型，而表 UNIONPAYCMS.CMSOTCONTENT_RTF 则包含了CLOB字段，无法进行传输,并且该方式不支持超过4k的字段数据类型

解决方法

将抽取进程中的RMTTASK改为RMTFILE参数官方建议将数据先抽取成文件，再基于文件数据解析进行初始化导入

显示全文

全部频道

Oracle向MySQL迁移