datastage调用JOB时,出现大量的-1004错误,求解决方案或者思路
时间:2011-07-05
来源:互联网
各位大大,具体情况请听小弟一一道来:
软件:RHEL DSv8.1
硬件:二台机器,具体型号记不清楚了,明天去公司看一下
调度工具:MOIAEE,负责把JOB分发到二台机器上,同时限制每台机器的JOB的并发数量,每台机器上最多只能并发100个JOB;也设置了某个任务可以并发的JOB个数,下面出问题的任务的并发数设置为30.
症状: 在某个任务调度的时候(该任务下面有247个JOB),会出现大批量的1004错误,即打开JOB失败,该JOB可能未编译.
解释:
(1)提示的JOB未编译不是真正的问题,因为JOB都处于编译过的状态,如果重做几次后,JOB就会成功调起.
(2)二台机器的配置一样,但是出问题的只是其中一台机器,另外一台机器较少出现1004错误
(3)二台DS机器的apt_config_file里面配置的Scratch和disk共用一块挂载的盘
我的想法:
(1)是不是JOB编译的失效了?整个工程我都重新编译过一次.如果失效,怎样才能查看出来?director这个我当然知道,我的意思是表面上在director上看到是编译过的,其实是失效的?
(2)apt_config_file设置的问题,二台机器共用一个scratch和source disk导致竞争,致使1004错误?这个我试过了,我把apt_config_file配置到它们自己的机器上,依然会出现大批量的1004错误
(3)并发数太高,导致机器承受不了,无法有效访问Datastage reposity库,获取JOB信息失败?这里有二个问题
1) DS JOB已经设置了机器总的并发JOB数量
2) 任务也设置了自己并发JOB的数量
3) 为什么只是其中一台机器出现批量1004错误,要知道二台机器的配置是一样的.
我试过把任务的并发数量调整了小一点,发现有些效果.但是,仍然不能完全解决1004错误,还是会有些出现cannot open job ...因为这个任务并不是一开始就出现了1004错误,之前还相安无事,最近随着JOB越上越多,这个问题也越来越突出了.
我想请教各位大大,
(1)如何查看系统的负载情况?用top命令么?还有其它的分析手段么?
(2)如何查看每台DS机器上有多少个DS JOB在运行?使用 ps -ef|grep dsapi是不是正在运行的DS JOB?还是ps -u dsadm这个命令查看?
(3)可不可以使用shmtest 工具来优化uvconfig,提高DS硬件的使用效率?我在测试机器上使用过,对比了一些JOB运行的时间,发现效率好像没有什么提高的
(4)有没有什么思路或者解决方法可以告诉小弟一下,先谢谢了.
新手+菜鸟,请各位大大有啥想法,不吝赐教.先谢出.
软件:RHEL DSv8.1
硬件:二台机器,具体型号记不清楚了,明天去公司看一下
调度工具:MOIAEE,负责把JOB分发到二台机器上,同时限制每台机器的JOB的并发数量,每台机器上最多只能并发100个JOB;也设置了某个任务可以并发的JOB个数,下面出问题的任务的并发数设置为30.
症状: 在某个任务调度的时候(该任务下面有247个JOB),会出现大批量的1004错误,即打开JOB失败,该JOB可能未编译.
解释:
(1)提示的JOB未编译不是真正的问题,因为JOB都处于编译过的状态,如果重做几次后,JOB就会成功调起.
(2)二台机器的配置一样,但是出问题的只是其中一台机器,另外一台机器较少出现1004错误
(3)二台DS机器的apt_config_file里面配置的Scratch和disk共用一块挂载的盘
我的想法:
(1)是不是JOB编译的失效了?整个工程我都重新编译过一次.如果失效,怎样才能查看出来?director这个我当然知道,我的意思是表面上在director上看到是编译过的,其实是失效的?
(2)apt_config_file设置的问题,二台机器共用一个scratch和source disk导致竞争,致使1004错误?这个我试过了,我把apt_config_file配置到它们自己的机器上,依然会出现大批量的1004错误
(3)并发数太高,导致机器承受不了,无法有效访问Datastage reposity库,获取JOB信息失败?这里有二个问题
1) DS JOB已经设置了机器总的并发JOB数量
2) 任务也设置了自己并发JOB的数量
3) 为什么只是其中一台机器出现批量1004错误,要知道二台机器的配置是一样的.
我试过把任务的并发数量调整了小一点,发现有些效果.但是,仍然不能完全解决1004错误,还是会有些出现cannot open job ...因为这个任务并不是一开始就出现了1004错误,之前还相安无事,最近随着JOB越上越多,这个问题也越来越突出了.
我想请教各位大大,
(1)如何查看系统的负载情况?用top命令么?还有其它的分析手段么?
(2)如何查看每台DS机器上有多少个DS JOB在运行?使用 ps -ef|grep dsapi是不是正在运行的DS JOB?还是ps -u dsadm这个命令查看?
(3)可不可以使用shmtest 工具来优化uvconfig,提高DS硬件的使用效率?我在测试机器上使用过,对比了一些JOB运行的时间,发现效率好像没有什么提高的
(4)有没有什么思路或者解决方法可以告诉小弟一下,先谢谢了.
新手+菜鸟,请各位大大有啥想法,不吝赐教.先谢出.
作者: yanghong709 发布时间: 2011-07-05
是问题太简单,大家都感觉没挑战么?内牛满面啊
作者: yanghong709 发布时间: 2011-07-06
相关阅读 更多
热门阅读
-
office 2019专业增强版最新2021版激活秘钥/序列号/激活码推荐 附激活工具
阅读:74
-
如何安装mysql8.0
阅读:31
-
Word快速设置标题样式步骤详解
阅读:28
-
20+道必知必会的Vue面试题(附答案解析)
阅读:37
-
HTML如何制作表单
阅读:22
-
百词斩可以改天数吗?当然可以,4个步骤轻松修改天数!
阅读:31
-
ET文件格式和XLS格式文件之间如何转化?
阅读:24
-
react和vue的区别及优缺点是什么
阅读:121
-
支付宝人脸识别如何关闭?
阅读:21
-
腾讯微云怎么修改照片或视频备份路径?
阅读:28