知识大全 关于Oracle数据库中行迁移/行链接的问题
Posted 索引
篇首语:天无一月雨,人无一世穷。本文由小常识网(cha138.com)小编为大家整理,主要介绍了知识大全 关于Oracle数据库中行迁移/行链接的问题相关的知识,希望对你有一定的参考价值。
关于Oracle数据库中行迁移/行链接的问题 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!
一 行迁移/行链接的介绍
在实际的工作中我们经常会碰到一些Oracle数据库性能较低的问题 当然 引起Oracle数据库性能较低的原因是多方面的 我们能够通过一些正确的设计和诊断来尽量的避免一些Oracle数据库性能不好 Row Migration (行迁移) & Row Chaining (行链接)就是其中我们可以尽量避免的引起Oracle数据库性能低下的潜在问题 通过合理的诊断行迁移/行链接 我们可以较大幅度上提高Oracle数据库的性能
那究竟什么是行迁移/行链接呢 先让我们从Oracle的block开始谈起
操作系统的最小读写操作单元是操作系统的block 所以当创建一个Oracle数据库的时候我们应该讲数据库的block size设置成为操作系统的block size的整数倍 Oracle block是Oracle数据库中读写操作的最小单元 Oracle i之前的Oracle数据库版本中Oracle block一旦在创建数据库的时候被设定后就没法再更改 为了在创建数据库之前确定一个合理的Oracle block的大小 我们需要考虑一些因素 例如数据库本身的大小以及并发事务的数量等 使用一个合适的Oracle block大小对于数据库的调优是非常重要的
一个Oracle block由三个部分组成 分别是数据块头 自由空间 实际数据三部份组成
数据块头 主要包含有数据块地址的一些基本信息和段的类型 以及表和包含有数据的实际行的地址
自由空间 是指可以为以后的更新和插入操作分配的空间 大小由PCTFREE和PCTUSED两个参数影响
实际数据 是指在行内存储的实际数据
当创建或者更改任何表和索引的时候 Oracle在空间控制方面使用两个存储参数
PCTFREE:为将来更新已经存在的数据预留空间的百分比
PCTUSED:用于为插入一新行数据的最小空间的百分比 这个值决定了块的可用状态 可用的块时可以执行插入的块 不可用状态的块只能执行删除和修改 可用状态的块被放在freelist中
当表中一行的数据不能在一个数据block中放入的时候 这个时候就会发生两种情况 一种是行链接 另外一种就是行迁移了
行链接产生在第一次插入数据的时候如果一个block不能存放一行记录的情况下 这种情况下 Oracle将使用链接一个或者多个在这个段中保留的block存储这一行记录 行链接比较容易发生在比较大的行上 例如行上有LONG LONG RAW LOB等数据类型的字段 这种时候行链接是不可避免的会产生的
当一行记录初始插入的时候事可以存储在一个block中的 由于更新操作导致行长增加了 而block的自由空间已经完全满了 这个时候就产生了行迁移 在这种情况下 Oracle将会迁移整行数据到一个新的block中(假设一个block中可以存储下整行数据) Oracle会保留被迁移行的原始指针指向新的存放行数据的block 这就意味着被迁移行的ROW ID是不会改变的
当发生了行迁移或者行链接 对这行数据操作的性能就会降低 因为Oracle必须要扫描更多的block来获得这行的信息
下面举例来具体说明行迁移/行链接的产生过程
先创建一个pctfree为 和pctused为 的测试表
create table test(
col char( )
col number)
storage (
pctfree
pctused );
当插入一条记录的时候 Oracle会在free list中先去寻找一个自由的块 并且将数据插入到这个自由块中 而在free list中存在的自由的块是由pctfree值决定的 初始的空块都是在free list中的 直到块中的自由空间达到pctfree的值 此块就会从free list中移走 而当此块中的使用空间低于pctused的时候 此块又被重新放到free list中
Oracle使用free list机制可以大大的提高性能 对于每次的插入操作 Oracle只需要查找free list就可以了 而不是去查找所有的block来寻找自由空间
具体我们通过下面的一个试验来查看行链接和行迁移是如何产生并在数据文件中体现出来的
先查看ALLAN这个表空间的数据文件号 为了便于测试 我只建立了一个数据文件
SQL> select file_id from dba_data_files where tablespace_name= ALLAN ;
FILE_ID
创建一个测试表test
SQL> create table test ( x int primary key a char( ) b char( ) c char( ) d char( ) e char( ) ) tablespace allan;
Table created
因为我的数据库的db_block_size是 K 所以我创建的表有五个字段 每个占 个字节 这样一行记录大约 K 就能超过一个block的大小了
然后插入一行记录 只有一个字段的
SQL> insert into test(x) values ( );
row created
SQL> mit;
Commit plete
查找这行记录所在的block 并dump出来
SQL> select dbms_rowid rowid_block_number(rowid) from test;
DBMS_ROWID ROWID_BLOCK_NUMBER(ROWID)
SQL> alter system dump datafile block ;
System altered
在udump目录下查看trace文件的内容如下
Start dump data blocks tsn: file#: minblk maxblk
buffer tsn: rdba: x c ( / )
scn: x f seq: x flg: x tail: x f
frmt: x cval: x type: x =trans data
Block header dump: x c
Object id on Block? Y
seg/obj: x ccd csc: x ef itc: flg: O typ: DATA
fsl: fnx: x ver: x
Itl Xid Uba Flag Lck Scn/Fsc
x x a e ad x de U fsc x f
x x x fsc x
data_block_dump data header at xadb c
===============
tsiz: x fa
hsiz: x
pbl: x adb c
bdba: x c
flag=
ntab=
nrow=
frre=
fsbo= x
fseo= x f a
avsp= x f
tosp= x f
xe:pti[ ] nrow= offs=
x :pri[ ] offs= x f a
block_row_dump:
tab row @ x f a
tl: fb: H FL lb: x cc:
col : [ ] c
end_of_block_dump
End dump data blocks tsn: file#: minblk maxblk
对其中的一些信息做一些解释
Fb:H是指行记录的头 L是指行记录的最后一列 F是指行记录的第一列
Cc 列的数量
Nrid 对于行链接或者行迁移来说的下一个row id的值
由上面的dump信息我们可以看出来当前表test是没有行链接或者行迁移的
然后更新test表 并重新dump出来
SQL> update test set a= test b= test c= test d= test e= test where x= ;
row updated
SQL> mit;
Commit plete
此时应该有行迁移/行链接产生了
SQL> alter system dump datafile block ;
System altered
在udump目录下查看trace文件的内容如下
Start dump data blocks tsn: file#: minblk maxblk
buffer tsn: rdba: x c ( / )
scn: x b seq: x flg: x tail: x b
frmt: x cval: x type: x =trans data
Block header dump: x c
Object id on Block? Y
seg/obj: x ccd csc: x itc: flg: typ: DATA
fsl: fnx: x ver: x
Itl Xid Uba Flag Lck Scn/Fsc
x x a e ad x de C scn x f
x x ae x b U fsc x b
data_block_dump data header at xadb c
===============
tsiz: x fa
hsiz: x
pbl: x adb c
bdba: x c
flag=
ntab=
nrow=
frre=
fsbo= x
fseo= x a
avsp= x c
tosp= x c
xe:pti[ ] nrow= offs=
x :pri[ ] offs= x a
block_row_dump:
tab row @ x a
tl: fb: H F N lb: x cc:
nrid: x c
col : [ ] c
col : [ ]
…………
col : [ ]
end_of_block_dump
End dump data blocks tsn: file#: minblk maxblk
我们不难看出 nrid出现了值 指向了下一个row id 证明刚刚的update操作使这行记录产生了行链接或者行迁移了
二 行迁移/行链接的检测
通过前面的介绍我们知道 行链接主要是由于数据库的db_block_size不够大 对于一些大的字段没法在一个block中存储下 从而产生了行链接 对于行链接我们除了增大db_block_size之外没有别的任何办法去避免 但是因为数据库建立后db_block_size是不可改变的(在 i之前) 对于Oracle i的数据库我们可以对不同的表空间指定不同的db_block_size 因此行链接的产生几乎是不可避免的 也没有太多可以调整的地方 行迁移则主要是由于更新表的时候 由于表的pctfree参数设置太小 导致block中没有足够的空间去容纳更新后的记录 从而产生了行迁移 对于行迁移来说就非常有调整的必要了 因为这个是可以调整和控制清除的
如何检测数据库中存在有了行迁移和行链接呢?我们可以利用Oracle数据库自身提供的脚本utlchain sql(在$ORACLE_HOME/rdbms/admin目录下)生成chained_rows表 然后利用ANALYZE TABLE table_name LIST CHAINED ROWS INTO chained_rows命令逐个分析表 将分析的结果存入chained_rows表中 从utlchain sql脚本中我们看到chained_rows的建表脚本 对于分区表 cluster表都是适用的 然后可以使用拼凑语句的办法生成分析所需要的表的脚本 并执行脚本将具体的分析数据放入Chained_rows表中 例如下面是分析一个用户下所有表的脚本
SPOOL list_migation_rows sql
SET ECHO OFF
SET HEADING OFF
SELECT ANALYZE TABLE || table_name || LIST CHAINED ROWS INTO chained_rows; FROM user_tables;
SPOOL OFF
然后查询chained_rows表 可以具体查看某张表上有多少的行链接和行迁移
SELECT table_name count(*) from chained_rows GROUP BY table_name;
当然 也可以查询v$sysstat视图中的 table fetch continued row 列得到当前的行链接和行迁移数量
SELECT name value FROM v$sysstat WHERE name = table fetch continued row ;
可以使用如下的脚本来直接查找存在有行链接和行迁移的表 自动完成所有的分析和统计
accept owner prompt Enter the schema name to check for Row Chaining (RETURN for All): prompt prompt accept table prompt Enter the table name to check (RETURN for All tables owned by &owner): prompt prompt set head off serverout on term on feed off veri off echo off !clear prompt declare v_owner varchar ( ); v_table varchar ( ); v_chains number; v_rows number; v_count number := ; sql_stmt varchar ( ); dynamicCursor INTEGER; dummy INTEGER; cursor chains is select count(*) from chained_rows; cursor analyze is select owner table_name from sys dba_tables where owner like upper( %&owner% ) and table_name like upper( %&table% ) order by table_name; begin dbms_output enable( ); open analyze; fetch analyze into v_owner v_table; while analyze%FOUND loop dynamicCursor := dbms_sql open_cursor; sql_stmt := analyze table ||v_owner|| ||v_table|| list chained rows into chained_rows ; dbms_sql parse(dynamicCursor sql_stmt dbms_sql native); dummy := dbms_sql execute(dynamicCursor); dbms_sql close_cursor(dynamicCursor); open chains; fetch chains into v_chains; if (v_chains != ) then if (v_count = ) then dbms_output put_line(CHR( )||CHR( )||CHR( )|| <<<<< Chained Rows Found >>>>> ); v_count := ; end if; dynamicCursor := dbms_sql open_cursor; sql_stmt := Select count(*) v_rows || From ||v_owner|| ||v_table; dbms_sql parse(dynamicCursor sql_stmt dbms_sql native); dbms_sql DEFINE_COLUMN(dynamicCursor v_rows); dummy := dbms_sql execute(dynamicCursor); dummy := dbms_sql fetch_rows(dynamicCursor); dbms_sql COLUMN_VALUE(dynamicCursor v_rows); dbms_sql close_cursor(dynamicCursor); dbms_output put_line(v_owner|| ||v_table); dbms_output put_line(CHR( )|| > Has ||v_chains|| Chained Rows and ||v_rows|| Num_Rows in it! ); dynamicCursor := dbms_sql open_cursor; sql_stmt := truncate table chained_rows ; dbms_sql parse(dynamicCursor sql_stmt dbms_sql native); dummy := dbms_sql execute(dynamicCursor); dbms_sql close_cursor(dynamicCursor); v_chains := ; end if; close chains; fetch analyze into v_owner v_table; end loop; if (v_count = ) then dbms_output put_line( No Chained Rows found in the ||v_owner|| owned Tables! ); end if; close analyze; end; / set feed on head on prompt
三 行迁移和行链接的清除
由于对于行链接来说只能增大db_block_size来清除 而db_block_size在创建了数据库后又是不能改变了的 所以这里对行链接的清除不做过多的叙述了 主要是针对行迁移来谈谈在实际的生产系统中如何去清除
对于行迁移的清除 一般来说分为两个步骤 第一步 控制住行迁移的增长 使其不在增多 第二步 清除掉以前存在的行迁移
众所周知 行迁移产生的主要原因是因为表上的pctfree参数设置过小导致的 而要实现第一步控制住行迁移的增长 就必须设置好一个正确合适的pctfree参数 否则即使清除了当前的行迁移后马上又会产生很多新的行迁移 当然 这个参数也不是越大越好的 如果pctfree设置的过大 会导致数据块的利用率低 造成空间的大量浪费 因此必须设置一个合理的pctfree参数 如何去确定一个表上合理的pctfree参数呢 一般来说有两种方法
第一种是定量的的设定方法 就是利用公式来设定pctfree的大小 先使用ANALYZE TABLE table_name ESTIMATE STATISTICS命令来分析要修改pctfree的表 然后查看user_tables中的AVG_ROW_LEN列值 得到一个平均行长AVG_ROW_LEN 然后大量的对表操作之后 再次使用上述命令分析表 得到第二个平均行长AVG_ROW_LEN 然后运用公式 * (AVG_ROW_LEN AVG_ROW_LEN )/(AVG_ROW_LEN AVG_ROW_LEN + 原始的AVG_ROW_LEN)得出的结果就是定量计算出来的一个合适的pctfree的值 这种方法因为是定量计算出来的 可能不一定会很准确 而且因为要分析表 所以对于使用RBO执行计划的系统不是很适用 例如 avg_row_len_ = avg_row_len_ = 则平均修改量为 PCTFREE 应调整为 * /( + )= %
第二种是差分微调的方法 先查询到当前表的pctfree的值 然后监控和调整pctfree参数 每次增加一点pctfree的大小 每次增加的比例不要超过 个百分点 然后使用ANALYZE TABLE TABLE_NAME LIST CHAINED ROWS INTO chained_rows命令分析每次所有的行迁移和行链接的增长情况 对于不同的表采取不同的增长比例 对于行迁移增长的比较快的表pctfree值就增加的多点 对于增长慢的表就增加的少点 直到表的行迁移基本保持不增长了为止 但是注意不要把pctfree调的过大 一般在 %以下就可以了 否则会造成空间的很大浪费和增加数据库访问的IO
使用上述的方法控制住了当前表的行迁移的增长之后 就可以开始清除之前表上存在的行迁移了 是否清除掉行迁移 关系到系统的性能是否能够有很大的提高 因此 对于以前存在的行迁移是一定而且必须要清除掉的 清除掉已经存在的行迁移有很多方法 但是并不是所有的方法都能适用所有的情况 例如表中的记录数多少 表上的关联多少 表上行迁移的数量多少等等这些因素都会是成为制约你使用什么方法清除的条件 因此 根据表的特点和具体情况的不同我们应该采用不同的方法去清除行迁移 下面我将逐一介绍各种清除行迁移的方法以及它们各自适用的不同情况
方法一 传统的清除行迁移的方法
具体步骤如下
. 执行$ORACLE_HOME/rdbms/admin目录下的utlchain sql脚本创建chained_rows表
@$ORACLE_HOME/rdbms/admin/utlchain sql
. 将存在有行迁移的表(用table_name代替)中的产生行迁移的行的rowid放入到chained_rows表中
ANALYZE TABLE table_name LIST CHAINED ROWS INTO chained_rows;
. 将表中的行迁移的row id放入临时表中保存
CREATE TABLE table_name_temp AS
SELECT * FROM table_name
WHERE rowid IN
(SELECT head_rowid FROM chained_rows
WHERE table_name = table_name );
. 删除原来表中存在的行迁移的记录行
DELETE table_name
WHERE rowid IN
(SELECT head_rowid
FROM chained_rows
WHERE table_name = table_name );
. 从临时表中取出并重新插入那些被删除了的数据到原来的表中 并删除临时表
INSERT INTO table_name SELECT * FROM table_name_temp;
DROP TABLE table_name_temp;
对于这种传统的清除RM的方法 优点是执行起来过程比较简单 容易实现 但是这种算法的缺陷是没有考虑到表关联的情况 在大多数数据库中很多表都是和别的表之间有表关联的 有外键的限制 这样就造成在步骤 中根本无法delete掉存在有行迁移的记录行 所以这种方法能够适用的表的范围是有限的 只能适用于表上无任何外键关联的表 由于这种方法在插入和删除数据的时候都没有disable掉索引 这样导致主要消耗时间是在删除和插入时维持索引树的均衡上了 这个对于如果记录数不多的情况时间上还比较短 但是如果对于记录数很多的表这个所消耗的时间就不是能够接受的了 显然 这种方法在处理大数据量的表的时候显然是不可取的
以下是一个具体在生产数据库上清除行迁移的例子 在这之前已经调整过表的pctfree参数至一个合适的值了
SQL>@$ORACLE_HOME/rdbms/admin/utlchain sql
Table created
SQL> ANALYZE TABLE CUSTOMER LIST CHAINED ROWS INTO chained_rows;
Table analyzed
SQL>SELECT count(*) from chained_rows
TABLE_NAME COUNT(*)
CUSTOMER
rows selected
查看在CUSTOMER表上存在的限制:
SQL>select CONSTRAINT_NAME CONSTRAINT_TYPE TABLE_NAME from USER_CONSTRAINTS where TABLE_NAME= CUSTOMER ;
CONSTRAINT_NAME C TABLE_NAME
PK_CUSTOMER P CUSTOMER
SQL>select CONSTRAINT_NAME CONSTRAINT_TYPE TABLE_NAME from USER_CONSTRAINTS where R_CONSTRAINT_NAME= PK_CUSTOMER ;
no rows selected
SQL> CREATE TABLE CUSTOMER_temp AS
SELECT * FROM CUSTOMER WHERE rowid IN
(SELECT head_rowid FROM chained_rows
WHERE table_name = CUSTOMER );
Table created
SQL>select count(*) from CUSTOMER;
COUNT(*)
SQL> DELETE CUSTOMER WHERE rowid IN
(SELECT head_rowid
FROM chained_rows
WHERE table_name = CUSTOMER );
rows deleted
SQL> INSERT INTO CUSTOMER SELECT * FROM CUSTOMER_temp;
rows created
SQL> DROP TABLE CUSTOMER_temp;
Table dropped
SQL> mit;
Commit plete
SQL> select count(*) from CUSTOMER;
COUNT(*)
SQL> truncate table chained_rows;
Table truncated
SQL> ANALYZE TABLE CUSTOMER LIST CHAINED ROWS INTO chained_rows;
Table analyzed
SQL> select count(*) from chained_rows;
COUNT(*)
以上整个清除两万多行的行迁移过程在三分钟左右 而且全部都在联机的状态下完成 基本上不会对业务有什么影响 唯一就是在要清除行迁移的表上不能有对外键的限制 否则就不能采用这个方法去清除了
方法二 改进了的传统清除行迁移的方法
. 执行$ORACLE_HOME/rdbms/admin目录下的utlchain sql脚本创建chained_rows表
. 禁用所有其它表上关联到此表上的所有限制
. 将表中的行迁移的row id放入临时表中保存
. 删除原来表中存在的行迁移的记录行
. 从临时表中取出并重新插入那些被删除了的数据到原来的表中 并删除临时表
. 启用所有其它表上关联到此表上的所有限制
这种算法是对传统算法的一种改进 对于使用这种算法来清除行迁移 考虑到了表之间的关联 还可以灵活的利用的TOAD工具生成的表关联信息 是一种比较适合于清除行迁移的一种方法 但是因为使用这种方法后来需要重建索引 如果记录数很大 比如说上千万条以上的记录的表 就不是很合适了 因为这个重建索引的时间会很长 是线性时间复杂度的 而重建索引是会导致索引所在的表被锁定的 从而导致插入不了新的记录 重建索引的时间太长导致记录长时间插入不了是会严重影响应用的 甚至导致数据的丢失 因此这个是使用这个方法前必须要考虑到的一个重要因素 对于 i以上的版本可以使用online的方法来重建索引 这样不会导致锁表 但是会有额外更多的开销 时间会很长 再者 因为这种方法在插入记录和删除记录都是带着索引的 如果表上的行迁移比较多 这样耗时间会比较长 而且占用资源也会比较大 因此只适用于表上行迁移存在的比较少的表 总的来说 这种方法对于表记录太多或者是表上的行迁移太多的情况都不是很适用 比较适合表记录少和表上行迁移都不太多的情况
以下是一个具体在生产数据库上清除行迁移的例子 在这之前已经调整过表的pctfree参数至一个合适的值了
SQL>select index_name index_type table_name from user_indexes where table_name= TERMINAL ;
INDEX_NAME INDEX_TYPE TABLE_NAME
INDEX_TERMINAL_TERMINALCODE NORMAL TERMINAL
I_TERMINAL_ID_TYPE NORMAL TERMINAL
I_TERMINAL_OT_OID NORMAL TERMINAL
PK_TERMINAL_ID NORMAL TERMINAL
UI_TERMINAL_GOODIS_SSN NORMAL TERMINAL
SQL>select CONSTRAINT_NAME CONSTRAINT_TYPE TABLE_NAME from USER_CONSTRAINTS where R_CONSTRAINT_NAME= PK_TERMINAL_ID ;
CONSTRAINT_NAME C TABLE_NAME
SYS_C R CONN
SQL>alter table CONN disable constraint SYS_C ;
Table altered
SQL>CREATE TABLE TERMINAL_temp AS
SELECT * FROM TERMINAL
WHERE rowid IN
(SELECT head_rowid FROM chained_rows
WHERE table_name = TERMINAL );
Table created
SQL>select count(*) from TERMINAL_temp;
COUNT(*)
SQL>DELETE TERMINAL
WHERE rowid IN
(SELECT head_rowid
FROM chained_rows
WHERE table_name = TERMINAL );
rows deleted
SQL>INSERT INTO TERMINAL SELECT * FROM TERMINAL_temp;
rows created
SQL>alter table CONN disable constraint SYS_C ;
Table altered
SQL>select count(*) from terminal;
COUNT(*)
SQL>truncate table chained_rows;
Table truncated
SQL>ANALYZE TABLE TERMINAL LIST CHAINED ROWS INTO chained_rows;
Table analyzed
SQL>select count(*) from chained_rows;
COUNT(*)
从上面过程中可以看出 对TERMINAL这张表的行迁移清除耗时总共不到五分钟的时间 总体来说还是比较快的 从我在生产数据库中清除行迁移的经验来说 这种方法基本适用于大部分存在有行迁移的表
方法三 使用TOAD工具清除行迁移的方法
. 备份要清除RM的表
RENAME table_name TO table_name_temp;
. Drop 所有其它表上关联到table_name的外键限制
SELECT CONSTRAINT_NAME CONSTRAINT_TYPE TABLE_NAME from USER_CONSTRAINTS where R_CONSTRAINT_NAME in (SELECT CONSTRAINT_NAME from USER_CONSTRAINTS where TABLE_NAME= table_name AND CONSTRAINT_TYPE= P );
ALTER TABLE table_name DROP CONSTRAINT XXXX;(XXXX为上述的查询结果)
. 重建 中被rename的表
CREATE TABLE table_name AS SELECT * FROM table_name_temp WHERE = ;
. 重建表中原来的数据
INSERT /*+ APPEND */ INTO table_name SELECT * FROM table_name_temp;
. 删除在table_name_temp上的索引和关联其他表的外键
. 在table_name上建立和原来一样的索引 主键和所有的外键限制
. 重新编译相关的存储过程 函数和包
. 删除表table_name_temp
对于使用这种方法来清除行迁移 全部的代码都是可以由TOAD工具来生成的 由于此方法把表上的关联考虑进去了 也是一种比较的全面的考虑的一种清除方法 而且在清除过程中重建了表和索引 对于数据库的存储和性能上都有提高 因为这种方法一开始是rename表为临时表 然后重建一个新表出来的 因此需要两倍的表的空间 因此在操作之前一定要检查要清除的表所在的表空间的free空间是否足够 但是也有一定的缺陷 因为在新表中重新插入原来的数据后需要重建索引和限制 因此在时间和磁盘的空间上都有比较大的开销 而且对于前台的应用可能会有一段时间的中断 当然 这个中断时间就主要是消耗在重建索引和重建限制上了 而时间的长短跟需要重建索引和限制的多少以及表的记录多少等等因素都有关系 使用这种方法对于 * 小时要求的系统上清除行迁移不是很合适 因为使用这种方法会导致系统可能有一段时间的停机 如果系统的实时性比较高 这种方法就不是很适用了
方法四 使用EXP/IMP工具清除行迁移的方法
. 使用EXP导出存在有行迁移的表
. 然后TRUNCATE原来的表
. IMP开始导出的表
. 重建表上所有的索引 (可选)
使用这种方法可以不用重建索引 省去了这部分时间 但是完成之后索引的使用效率不会很高 最好是在以后逐步的在线重建索引 这样是可以不需要中断业务的 但是需要考虑的是IMP的时候会比较慢 而且会占用比较大的IO 应该选择在应用不是很繁忙的时候做这项工作 否则会对应用的正常运行产生较大的影响 对于这种方法还存在有一个比较大的弊端 就是在EXP表的时候要保证该表是没有数据的更新或者是只读状态的 不能对表有插入或者更新操作 否则会导致数据的丢失
SQL> select count(*) from test;
COUNT(*)
SQL> truncate table chained_rows;
Table truncated
SQL> analyze table test LIST CHAINED ROWS INTO chained_rows;
Table analyzed
SQL> select count(*) from chained_rows;
COUNT(*)
$ exp allan/allan file=test dmp tables=test
Export: Release Production on Sun Jun : :
Copyright (c) Oracle Corporation All rights reserved
Connected to: Oracle i Enterprise Edition Release Production
With the Partitioning OLAP and Oracle Data Mining options
JServer Release Production
Export done in ZHS GBK character set and AL UTF NCHAR character set
About to export specified tables via Conventional Path
exporting table TEST rows exported
Export terminated successfully without warnings
$ sqlplus allan/allan
SQL*Plus: Release Production on Sun Jun : :
Copyright (c) Oracle Corporation All rights reserved
Connected to:
Oracle i Enterprise Edition Release Production
With the Partitioning OLAP and Oracle Data Mining options
JServer Release Production
SQL> truncate table test;
Table truncated
SQL> exit
Disconnected from Oracle i Enterprise Edition Release Production
With the Partitioning OLAP and Oracle Data Mining options
JServer Release Production
$ imp allan/allan file=test dmp full=y ignore=y buffer=
Import: Release Production on Sun Jun : :
Copyright (c) Oracle Corporation All rights reserved
Connected to: Oracle i Enterprise Edition Release Production
With the Partitioning OLAP and Oracle Data Mining options
JServer Release Production
Export file created by EXPORT:V via conventional path
import done in ZHS GBK character set and AL UTF NCHAR character set
importing ALLAN s objects into ALLAN
importing table TEST rows imported
Import terminated successfully without warnings
$ sqlplus allan/allan
SQL*Plus: Release Production on Sun Jun : :
Copyright (c) Oracle Corporation All rights reserved
Connected to:
Oracle i Enterprise Edition Release Production
With the Partitioning OLAP and Oracle Data Mining options
JServer Release Production
SQL> select count(*) from test;
COUNT(*)
SQL> select index_name from user_indexes where table_name= TEST ;
INDEX_NAME
OBJ_INDEX
SQL> alter index OBJ_INDEX rebuild online;
Index altered
SQL> truncate table chained_rows;
Table truncated
SQL> analyze table test LIST CHAINED ROWS INTO chained_rows;
Table analyzed
SQL> select count(*) from chained_rows;
COUNT(*)
方法五 使用MOVE命令来清除行迁移的方法
. 查看要清除行迁移的表所在的表空间
Select table_name tablespace_name from user_tables where table_name= table_name ;
. 查看要清除行迁移的表上的具体索引
select index_name table_name from user_indexes where table_name= table_name ;
. Move要清除RM的表到指定的表空间中去
alter table table_name move tablespace tablespace_name;
. 重建表上的所有索引
alter index index_name rebuild;
这种方法适用于 i及其以上的数据库版本 主要是利用数据库的一个MOVE命令来实现行迁移的清除的 MOVE命令的实质其实就是INSERT … SELECT的一个过程 在MOVE表的过程中是需要两倍的原来的表大小的 因为中间过程是要保留原来的旧表的 新表创建完成后旧表就被删除并释放空间了 MOVE的时候要注意后面一定要加上表空间参数 所以必须要先知道表所在的表空间 因为MOVE表之后需要重建索引 所以之前要确定表上的所有的索引
这种方法对于表记录数很大或者表上索引太多的情况不太适用 因为本身的MOVE就会很慢 而且MOVE表的时候会要锁定表 时间长了会导致对表的其他操作出现问题 导致数据插入不了丢失数据 MOVE表后还要重建索引 索引太多了的话重建的时间也会太长 再者 这个方法也比较消耗资源 因此强烈建议在业务不繁忙的时候再执行
以下是一个具体在生产数据库上清除行迁移的例子 在这之前已经调整过表的pctfree参数至一个合适的值了
SQL>ANALYZE TABLE SERVICE LIST CHAINED ROWS INTO chained_rows;
Table analyzed
SQL>SELECT count(*) from chained_rows;
COUNT(*)
SQL>select table_name tablespace_name from user_tables where table_name= SERVICE ;
TABLE_NAME TABLESPACE_NAME
SERVICE DATA
SQL>select index_name table_name from user_indexes where table_name= SERVICE ;
INDEX_NAME TABLE_NAME
I_SERVICE_ACCOUNTNUM SERVICE
I_SERVICE_DATEACTIVATED SERVICE
I_SERVICE_SC_S SERVICE
I_SERVICE_SERVICECODE SERVICE
PK_SERVICE_SID SERVICE
SQL>select count(*) from SERVICE;
COUNT(*)
SQL>alter table SERVICE move tablespace DATA;
Table altered
SQL>alter index I_SERVICE_ACCOUNTNUM rebuild;
Index altered
SQL>alter index I_SERVICE_DATEACTIVATED rebuild;
Index altered
SQL>alter index I_SERVICE_SC_S rebuild;
Index altered
SQL>alter index I_SERVICE_SERVICECODE rebuild;
Index altered
SQL>alter index PK_SERVICE_SID rebuild;
Index altered
SQL>truncate table chained_rows;
Table truncated
SQL>ANALYZE TABLE SERVICE LIST CHAINED ROWS INTO chained_rows;
Table analyzed
SQL>SELECT count(*) from chained_rows;
COUNT(*)
利用MOVE命令来清除行迁移 执行的命令都相对比较的简单 上面的例子中清除表SERVCIE中的行迁移的时间大概在五分钟左右 其中move命令执行的时间为不到两分钟 也就是锁表的时间大概是不到两分钟 对于大多数的应用来说一般问题都是不大的 放在系统闲的时候执行基本上不会对应用产生什么太多的影响
方法六 对于一些行迁移数量巨大而且表记录数巨大的表的行迁移的清除方法
. 使用TOAD工具或者别的方法获取存在有大量行迁移并且表记录很大的表的重建表的SQL 然后保存为脚本
. 使用RENAME命令将原始表重命名为一个备份表 然后删除别的表对原始表上的限制 以及原始表上的外键和索引
. 利用 中生成的脚本重建原始表 以及表上的限制 外键 索引等对象
. 然后按表模式导出 中备份的表 然后导入到另外的一个临时中转的数据库库中 因为表的名字已经改变 所以导入后需要RENAME表为原来的名字 然后重新导出 最后再导入到原来的数据库中
这种方法主要是用来针对一些数据量比较大 并且表上的行迁移也比较多的表的行迁移清除 对于这些大表的行迁移的清除 正常来说都需要停应用一段较长时间才能够清除掉 让人感觉比较的头疼 对于 * 小时的应用来说 down机的时间越长损失则越大 当然是要尽量的减短down机的时间 但是因为表本身比较大 不管怎样做什么操作都是会比较耗费时间和资源的 但是如果应用在某段时间内主要是以插入数据为主 更新数据和删除数据都很少的 因此可以考虑可以采用这么一种方法 先重命名表 然后重新建立一个和原来一样的表 用来保证之后的应用的数据是可以正常插入的 从而使应用不用停很久 因为重建一个没有任何数据的表结构的过程是很短暂的 大概需要几秒钟的时间 而重建好表了后就能保证应用能够正常的写入数据 从而使应用几乎不用停顿 然后把开始重命名的原始表按表模式导出 因为表的名字已经被改变 因此需要一个临时库来导入这些数据 然后重命名回原来的名字 然后按原来的表名导出后再重新导入原始数据库 这样操作起来虽然会比较麻烦 但是却是一种很有效很实际的方法 速度也很快 导出后导入 因为本身表结构已经建立好了 不需要其他任何的多的操作 而且最关键的是这种方法所需要的down机时间是最短的
SQL>ALTER TABLE USER PAY RENAME TO PAY_X ;
然后导出PAY_X表;
$ exp USER/USER file=PAY_X dmp tables=PAY_X
SQL>ALTER TABLE USER BATCHPAYMENTDETAIL DROP CONSTRAINT FK_BATCHPAYMENTDETAIL_OPAYID ;
SQL>ALTER TABLE USER DEPOSITCLASSIFY DROP CONSTRAINT FK_DEPOSITCLASSIFY ;
SQL>ALTER TABLE USER DEPOSITCREDITLOG DROP CONSTRAINT FK_DEPOSITCREDITLOG ;
SQL>ALTER TABLE USER DEPOSIT DROP CONSTRAINT SYS_C ;
SQL>ALTER TABLE USER PAY_X DROP CONSTRAINT SYS_C ;
SQL>DROP INDEX USER I_PAY_STAFFID ;
SQL>CREATE TABLE USER PAY
(
PAYID NUMBER( )
ACCOUNTNUM NUMBER( )
TOTAL NUMBER( )
PREVPAY NUMBER( )
PAY NUMBER( )
STAFFID NUMBER( )
PROCESSDATE DATE
PAYNO CHAR( )
TYPE CHAR( ) DEFAULT
PAYMENTMETHOD CHAR( ) DEFAULT
PAYMENTMETHODID VARCHAR ( )
BANKACCOUNT VARCHAR ( )
PAYMENTID NUMBER( )
STATUS CHAR( ) DEFAULT
MEMO VARCHAR ( )
SERVICEID NUMBER( )
CURRENTDEPOSITID NUMBER( )
SHOULDPROCESSDATE DATE DEFAULT sysdate
ORIGINALEXPIREDATE DATE
ORIGINALCANCELDATE DATE
EXPIREDATE DATE
CANCELDATE DATE
DEPOSITTYPE CHAR( )
)
TABLESPACE USER
PCTUSED
PCTFREE
INITRANS
MAXTRANS
STORAGE (
INITIAL K
NEXT K
MINEXTENTS
MAXEXTENTS
PCTINCREASE
FREELISTS
FREELIST GROUPS
BUFFER_POOL DEFAULT
)
NOLOGGING
NOCACHE
NOPARALLEL;
SQL>CREATE INDEX USER I_PAY_STAFFID ON USER PAY
(STAFFID)
NOLOGGING
TABLESPACE USER
PCTFREE
INITRANS
MAXTRANS
STORAGE (
INITIAL K
NEXT K
MINEXTENTS
MAXEXTENTS
PCTINCREASE
FREELISTS
FREELIST GROUPS
BUFFER_POOL DEFAULT
)
NOPARALLEL;
SQL>CREATE UNIQUE INDEX USER PK_PAY_ID ON USER PAY
(PAYID)
NOLOGGING
TABLESPACE USER
PCTFREE
INITRANS
MAXTRANS
STORAGE (
INITIAL K
NEXT K
MINEXTENTS
MAXEXTENTS
PCTINCREASE
FREELISTS
FREELIST GROUPS
BUFFER_POOL DEFAULT
)
NOPARALLEL;
SQL>ALTER TABLE USER PAY ADD (
FOREIGN KEY (STAFFID)
REFERENCES USER STAFF (STAFFID));
SQL>ALTER TABLE USER DEPOSITCLASSIFY ADD
CONSTRAINT FK_DEPOSITCLASSIFY
FOREIGN KEY (PAYID)
REFERENCES USER PAY (PAYID) ;
SQL>ALTER TABLE USER DEPOSITCREDITLOG ADD
CONSTRAINT FK_DEPOSITCREDITLOG
FOREIGN KEY (PAYID)
REFERENCES USER PAY (PAYID) ;
SQL>ALTER FUNCTION USER GENERATEPAYNO PILE ;
SQL>ALTER PROCEDURE USER ENGENDERPRVPAY PILE ;
SQL>ALTER PROCEDURE USER ISAP_ENGENDERPRVPAY PILE ;
SQL>ALTER PROCEDURE USER SPADDCREDITDEPOSIT PILE ;
SQL>ALTER PROCEDURE USER SPADDDEPOSIITHOUTCARD PILE ;
SQL>ALTER PROCEDURE USER SPADJUSTLWDEPOSIT PILE ;
……
然后将导出的表PAY_X的dmp文件导入一个临时的数据库中 然后在临时数据库中将其表名重新命名为PAY 再按表模式将其导出
imp USER/USER file= PAY_x dmp tables=PAY ignore=y
SQL>rename PAY_X to PAY;
$ exp USER/USER file=PAY dmp tables=PAY
最后将这个dmp文件导入正式的生产数据库中即可
以上的过程在重建好PAY表后整个应用就恢复正常了 而重命名表后重建表的时间是非常之短的 我测试的时间大概是在几分钟之内就可以做完了 新数据就可以插入表了 剩下的工作就是将旧的数据导入数据库 这个工作的时间要求上就没有那么高了 因为应用已经正常了 一般来说利用晚上业务不忙的时候都可以把一张表的数据导入完成的
cha138/Article/program/Oracle/201311/18114相关参考
去年年底做了不少系统的数据迁移大部分系统由于平台和版本的原因做的是逻辑迁移少部分做的是物理迁移有一些心得体会与大家分享 首先说说迁移流程在迁移之前写好方案特别是实施的方案步骤一定要写清楚然后进行
Oracle数据库的数据迁移方法 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 主要介绍了Ora
Oracle数据库迁移几种方式 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!我们常常需要对数据进行
Pro*c链接oracle数据库 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! [oracle]
Oracle中实现数据迁移和数据共享 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 安装在自定义
Oracle数据文件位置迁移 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 操作系统Window
Oracle统计数据的迁移 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! 自从iR开始可以利用D
知识大全 PHP将数据从Oracle向Mysql数据迁移实例
PHP将数据从Oracle向Mysql数据迁移实例 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!
知识大全 Oracle 数据库向 MS SQL Server 7.0 的迁移(1)
Oracle数据库向MSSQLServer7.0的迁移(1) 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看
知识大全 Oracle 数据库向 MS SQL Server 7.0 的迁移(4)
Oracle数据库向MSSQLServer7.0的迁移(4) 以下文字资料是由(全榜网网www.cha138.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看