Data Pump(数据泵)是什么
- 与到10g以前的exp/imp（原始的导入/导出）相同的功能+有更多的附加功能与新功能
- 数据以及源数据的高速加载、卸载
- 比Exp/imp速度高几倍
- 与Exp/imp 相同的功能，进一步的附加功能
- exp/imp的互换性
- exp/imp 与Data Pump中，转储文件没有互换性
- 10g中也可以使用exp/imp功能
- 使用方法
- expdp/impdp命令
- Enterprise Manager
- DBMS_DATAPUMP PL/SQL package
- 其他，外部表等作为引擎来内部使用
- 相关资料
- Oracle Database Utility 11g 发行版本1（11.1）
- http://otndnld.oracle.co.jp/document/products/oracle11g/111/doc_dvd/server.111/E05768-02/toc.htm
Data Pump 概要图
expdp/impdp与exp/imp比较
Data Pump的导出工具(expdp)
-- full 全库导出 示例， 一般不推荐全库导出！因为一般你都是导出你的应用程序用户数据啊！！你要SYS/SYSTEM的数据干什么呢？对不对啊！
$ expdp scott/tiger full=y
-- 表模式例
$ expdp scott/tiger dumpfile=exp.dmp tables=emp,dept
因为在Data Pump中，不是通过客户端而是通过服务器来执行写出的，所以需要指定执行处理的目录位置；(事先准备)对于导出转储文件的目录，在DB上制成目录对象。(执行时)通过DIRECTORY参数来指定目录对象
-- 制成目录对象
SQL > CREATE DIRECTORY DPUMP_DIR1 AS ‘/home/oracle/oradata/dpump_dir’;
-- 赋予权限
SQL > GRANT READ, WRITE ON DIRECTORY dpump_dir1 TO scott;
$ expdp scott/tiger tables=emp,dept
directory=dpump_dir1
如果没有用参数指定目录时，没有OS环境变量「DATA_PUMP_DIR」的话，请参考目录对象「DATA_PUMP_DIR」。
-- 设定环境变量
$ set DATA_PUMP_DIR=DPUMP_DIR1; export DATA_PUMP_DIR
$ expdp scott/tiger schemas=scott
Export – filter处理
基于filter处理，可以详细设定成为导出对象的object。
用INCLUDE参数指定导出对象object
$ expdp scott/tiger
include=table
$ expdp scott/tiger
include=index
用EXCLUDE参数指定从导出对象排除的object
$ expdp scott/tiger
exclude=index:\”LIKE \’EMP%\’\”
可以指定LIKE以及IN
INCLUDE以及EXCLUDE参数是排他的，请不要同时指定
为了不用间隔符来分割空白，需要双引号
也有由于OS，可能会需要转义字符==》所以这里有参数文件(parfile)的话 比较简单
导出参数文件
- 可以读入记述参数的文件
- 参数文件中不需要转义字符
- 制成记述了参数的文件，执行时指定PARFILE参数
--参数文件内容确认
$ cat parfile.txt
EXCLUDE=TABLE:”IN(‘DEPT’,’EMP)”
EXCLUDE=INDEX:”LIKE ‘EMP%’”
EXCLUDE=PROCEDURE
DIRECTORY=dpump_dir
-- 指定参数文件导出
$ expdp scott/tiger
parfile=parfile.txt
导出并行化
- 并行导出
- 可以并行执行导出处理
- 用PARALLEL参数可以指定并行度
- 可以各自指定导出地址目录
-- 指定并列度
$ expdp scott/tiger
parallel=3 dumpfile=dpump_dir1:expdat
%U.dmp, dpump_dir2%U.dmp
-- 确认刚刚生成的转储文件
$ ls –lR
dpump_dir1:
…….expdat01.dmp
…….expdat02.dmp
dpump_dir2:
…….expdat01.dmp
没有指定替换变量时(％U)，dumpfile的文件数需要配合parallel的数值
指定时，被指定的文件在Round robin中使用
导出估计 estimate
- 不生成转储文件，可以估计被生成转储文件的尺寸
- 可以用ESTIMATE参数指定估计模式
- 参数值中可以如下所示进行设定
- BLOCKS...块尺寸中，对object的块数进行估计（精度不高）
- STATISTICS...以统计信息为基础的估计(高精度)
- 仅仅导出估计时，请指定ESTIMATE_ONLY=ｙ
$ expdp scott/tiger tables=emp,dept
estimate=blocks estimate_only=y
导出估计 estimate 例子
- 制成40万行，2GB的数据，测量估计精度
- BLOCKS
$ expdp scott/tiger tables=test
estimate=blocks estimate_only=y
Estimate in progress using BLOCKS method...
Processing object type TABLE_EXPORT/TABLE/TBL_TABLE_DATA/TABLE/TABLE_DATA
. estimated “SCOTT".“TEST" 3.062 GB
Total estimation using BLOCKS method: 3.062 GB
$ expdp scott/tiger tables=test
estimate=statistics estimate_only=y
Estimate in progress using STATISTICS method...
Processing object type TABLE_EXPORT/TABLE/TBL_TABLE_DATA/TABLE/TABLE_DATA
. estimated “SCOTT".“TEST" 1.947 GB
Total estimation using STATISTICS method: 1.947 GB
$ ls –l
…….
2092179456 …. expdat.dmp 约1.948GB
导入
- 通过用impdp可以指定参数，从用expdp制成的转储文件中进一步缩小对象数据范围，就可以进行导入了
- 缩小对象数据范围的例子
--从转储文件中仅仅导出emp表以及dept表
$ impdp scott/tiger
tables=emp,dept
--从转储文件中仅仅导出索引
$ impdp scott/tiger
include=index
外部表(卸载/加载)
- 使用9i开始搭载的功能——外部表，就可以在外部文件中高速地将数据卸载
- 被制成的是二进制文件
- 可以重新加载被卸载的外部文件
| Oracle 9i |
Oracle 10g以后 |
| 仅仅加载 |
可加载/卸载 |
| 制成以外部文件（CSV文件）为基础的外部表 |
卸载后可以已制成的文件为基础制成外部表 |
| 利用ORACLE_LOADER |
利用ORACLE_DATAPUMP型 |
|
可以并行化 |
外部表 – 卸载
- 利用外部表的功能，可以卸载数据
- 利用9i中也可以使用的外部表的句法，在数据型中指定ORACLE_DATAPUMP
- 通过记录SQL的查询可以自由卸载
SQL> create table dept_external1
organization external (
type oracle_datapump
default directory dpump_dir
location('dept.dmp') )
as select * from dept;
- 用DPUMP_DIR指定的目录下会制成名为「dept.dmp」的转储文件
--利用外部表的功能，加载被卸载的转储文件
SQL> create table dept_external2 (
DEPTNO NUMBER(2),
DNAME VARCHAR2(14),
LOC VARCHAR2(13)
)
organization external (
type oracle_datapump
default directory dpump_dir
location ('dept.dmp')
);
已制成的外部文件可以与一般的表一样 进行SELECT查询
无法进行插入/删除等DML操作
作为外部文件，指定被卸载的转储文件
Data Pump 11g新功能
- 11g新功能
- 压缩转储文件（Advanced Compression Option）
- 转储文件加密（Advanced Security Option）
- 分区的导入方法
- 数据变换（DATA_REMAP API ）
Data Pump 压缩
- COMPRESSION={ALL | DATA_ONLY | METADATA_ONLY | NONE}
- NONE...导出操作中压缩无效
- METADATA_ONLY(default)...所有的元数据都以压缩形式写入到转储文件中
(以下的操作需要Advanced Compression选项)
- DATA_ONLY...所有的数据都以压缩形式写入到转储文件中
- ALL...同时压缩数据元数据
- (例）指定架构。同时压缩数据，元数据，对转储文件scott.dmp导出
$expdp scott/tiger DIRECTORY=dpump_dir DUMPFILE=scott.dmp COMPRESSION=ALL SCHEMAS=scott
Data Pump 加密
- ENCRYPTION = {ALL | DATA_ONLY | ENCRYPTED_COLUMNS_ONLY | METADATA_ONLY | NONE}
- ALL：所有的数据以及元数据加密有效
- DATA_ONLY：仅对数据加密
- ENCRYPTED_COLUMNS_ONLY：仅对已加密的列进行加密
- METADATA_ONLY：仅对元数据加密
- NONE：数据不被加密
$ expdp scott/tiger DIRECTORY=dpump_dir DUMPFILE=scott_enc.dmp SCHEMAS=scott ENCRYPTION=data_only ENCRYPTION_PASSWORD=tiger