+ -
当前位置:首页 → 问答吧 → datastage调用JOB时,出现大量的-1004错误,求解决方案或者思路

datastage调用JOB时,出现大量的-1004错误,求解决方案或者思路

时间:2011-07-05

来源:互联网

各位大大,具体情况请听小弟一一道来:
软件:RHEL    DSv8.1   
硬件:二台机器,具体型号记不清楚了,明天去公司看一下
调度工具:MOIAEE,负责把JOB分发到二台机器上,同时限制每台机器的JOB的并发数量,每台机器上最多只能并发100个JOB;也设置了某个任务可以并发的JOB个数,下面出问题的任务的并发数设置为30.
症状:  在某个任务调度的时候(该任务下面有247个JOB),会出现大批量的1004错误,即打开JOB失败,该JOB可能未编译.

解释:
(1)提示的JOB未编译不是真正的问题,因为JOB都处于编译过的状态,如果重做几次后,JOB就会成功调起.
(2)二台机器的配置一样,但是出问题的只是其中一台机器,另外一台机器较少出现1004错误
(3)二台DS机器的apt_config_file里面配置的Scratch和disk共用一块挂载的盘


我的想法:
(1)是不是JOB编译的失效了?整个工程我都重新编译过一次.如果失效,怎样才能查看出来?director这个我当然知道,我的意思是表面上在director上看到是编译过的,其实是失效的?
(2)apt_config_file设置的问题,二台机器共用一个scratch和source disk导致竞争,致使1004错误?这个我试过了,我把apt_config_file配置到它们自己的机器上,依然会出现大批量的1004错误
(3)并发数太高,导致机器承受不了,无法有效访问Datastage reposity库,获取JOB信息失败?这里有二个问题
   1) DS JOB已经设置了机器总的并发JOB数量
   2) 任务也设置了自己并发JOB的数量
   3) 为什么只是其中一台机器出现批量1004错误,要知道二台机器的配置是一样的.
我试过把任务的并发数量调整了小一点,发现有些效果.但是,仍然不能完全解决1004错误,还是会有些出现cannot open job ...因为这个任务并不是一开始就出现了1004错误,之前还相安无事,最近随着JOB越上越多,这个问题也越来越突出了.

我想请教各位大大,
(1)如何查看系统的负载情况?用top命令么?还有其它的分析手段么?
(2)如何查看每台DS机器上有多少个DS JOB在运行?使用 ps -ef|grep dsapi是不是正在运行的DS JOB?还是ps -u dsadm这个命令查看?
(3)可不可以使用shmtest 工具来优化uvconfig,提高DS硬件的使用效率?我在测试机器上使用过,对比了一些JOB运行的时间,发现效率好像没有什么提高的
(4)有没有什么思路或者解决方法可以告诉小弟一下,先谢谢了.

新手+菜鸟,请各位大大有啥想法,不吝赐教.先谢出.

作者: yanghong709   发布时间: 2011-07-05

是问题太简单,大家都感觉没挑战么?内牛满面啊

作者: yanghong709   发布时间: 2011-07-06

相关阅读 更多