如何去掉多余的IDE Controller模块？

我照着debian自带内核的做法，把所有的IDE Controller都编成模块，由内核启动时自动加载。但是启动后，会加载很多多余的IDE Controller模块，如
ide_disk 19328 8
ide_generic 1664 0 [permanent]
via82cxxx 12444 0 [permanent]
trm290 5124 0 [permanent]
triflex 5380 0 [permanent]
slc90e66 8328 0 [permanent]
sis5513 14728 0 [permanent]
siimage 13312 0 [permanent]
serverworks 11540 0 [permanent]
sc1200 8712 0 [permanent]
rz1000 2816 0 [permanent]
piix 13344 0 [permanent]
pdc202xx_old 16540 0 [permanent]
opti621 5124 0 [permanent]
ns87415 4424 0 [permanent]
hpt366 21444 0 [permanent]
hpt34x 5888 0 [permanent]
generic 4352 0 [permanent]
cy82c693 4864 0 [permanent]
cs5530 6408 0 [permanent]
cs5520 6408 0 [permanent]
cmd64x 12572 0 [permanent]
atiixp 9112 0 [permanent]
amd74xx 13724 0 [permanent]
alim15x3 10892 0 [permanent]
aec62xx 10652 0 [permanent]
pdc202xx_new 10908 0 [permanent]
unix 30768 390
ide_core 141776 27 ide_disk,ide_generic,via82cxxx,trm290,triflex,slc90e66,sis5513,siimage,serverworks,sc1200,rz1000,piix,pdc202xx_old,opti621,ns87415,hpt366,hpt34x,generic,cy82c693,cs5530,cs5520,cmd64x,atiixp,amd74xx,alim15x3,aec62xx,pdc202xx_new
我用debian自带的kernel-image-2.6.5，则只会加载piix这一个模块。不知道他是怎样做到的？

ps:
我的内核模块加载部分的选项如下：
#
# Loadable module support
#
CONFIG_MODULES=y
CONFIG_MODULE_UNLOAD=y
CONFIG_MODULE_FORCE_UNLOAD=y
CONFIG_OBSOLETE_MODPARM=y
CONFIG_MODVERSIONS=y
CONFIG_KMOD=y
CONFIG_STOP_MACHINE=y

系统启动时显示"modprobe -k ***"，这样这些模块应该是autoclean的标记啊，为什么是permanent呢？
在显示"modprobe -k ***"后就显示一堆类似
ERROR: Removing 'cmd64x': Device or resource busy
这样的信息。