随笔-314  评论-209  文章-0  trackbacks-0
文章分类:数据库

要测试sql loader 以及快速产生大量测试数据

生成大量测试数据思路。

  一,用plsql developer 生成csv 文件

  二,用>>输出重定向,追加到一个cvs 文件里。

  三,再用sql loader 快速载入。

 

在plsql developer 执行

Sql代码 复制代码
  1. SELECT object_id,object_name FROM dba_objects;  

 

右键plsql developer 导出csv 格式 1.csv。在linux 上执行下面的脚本

C代码 复制代码
  1. #!/bin/bash   
  2.   
  3. for((i=1;i<200;i=i+1))   
  4. do  
  5.         cat 1.csv >> 2.csv;   
  6.         echo $i;   
  7. done  

 这样 50000  *  200 差不到就有一千万的数据了。我测试的  11047500  392M

 可以用:

Linux代码 复制代码
  1. wc -l 2.csv  

 

查看csv 里有多少条数据。现在测试数据有了。我们来试一下sql loader 的载入效果吧。

创建sqlloader 控制文件如下,保存为1.ctl

Sqlldr ctl代码 复制代码
  1. load data   
  2. infile '2.csv'  
  3. into table my_objects   
  4. fields terminated by ','optionally enclosed by '"'  
  5. (object_id,   
  6. object_name   
  7. );  

 

控制文件简要说明:

-- INFILE 'n.csv'   导入多个文件 
-- INFILE *  要导入的内容就在control文件里 下面的BEGINDATA后面就是导入的内容

--BADFILE '1.bad'   指定坏文件地址 

--apend into table my_objects 追加
-- INSERT  装载空表 如果原先的表有数据 sqlloader会停止 默认值 
-- REPLACE   原先的表有数据 原先的数据会全部删除 
-- TRUNCATE  指定的内容和replace的相同 会用truncate语句删除现存数据 

--可以指定位置加载
--(object_id position(1:3) char,object_name position(5:7) char)
--分别指定分隔符
--(object_id char terminated by ",", object_name char terminated by ",")
--执行sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true
--30秒可以载入200万的测试数据 79MB


--sqlldr userid=/ control=result1.ctl direct=true parallel=true
--sqlldr userid=/ control=result2.ctl direct=true parallel=true
--sqlldr userid=/ control=result2.ctl direct=true parallel=true
--当加载大量数据时(大约超过10GB),最好抑制日志的产生:
--SQLALTER TABLE RESULTXT nologging;
--这样不产生REDO LOG,可以提高效率。然后在CONTROL文件中load data上面加一行:unrecoverable
--此选项必须要与DIRECT共同应用。
--在并发操作时,ORACLE声称可以达到每小时处理100GB数据的能力!其实,估计能到1-10G就算不错了,开始可用结构
--相同的文件,但只有少量数据,成功后开始加载大量数据,这样可以避免时间的浪费

 

下面就是执行了

Shell代码 复制代码
  1. sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true  

 结果:30秒可以载入200万的测试数据 79MB
          226秒载入1100万的测试数据 392Mb

 

我的环境是在虚拟机,测得的结果

MemTotal:       949948 kB

model name      : Intel(R) Pentium(R) D CPU 2.80GHz
stepping        : 8
cpu MHz         : 2799.560
cache size      : 1024 KB

 

还是挺快的:)

posted on 2011-03-08 16:47 xzc 阅读(3991) 评论(0)  编辑  收藏 所属分类: Oracle

只有注册用户登录后才能发表评论。


网站导航: