接口交叉引用释放的问题

最近学习了下ATL想写个程序练练手,发现在接口在交叉引用时要释放的话比较麻烦,情况大概可以概述如下:
一个mfc写的客户端exe,会自己创建一个接口IA的对象供服务器IB对象使用 但是也会使用到IB的功能
一个dll服务器,提供IB接口 IB创建并维护了一组IC对象 IC对象需要使用IA IB的功能

因为IA我是在EXE中通过(CComObject<>::CreateInstance)创建的, 其他都是通过CLSID创建到CComPtr<>对象中的,为了使用相关对象的功能我会在接口方法中把接口对象传递给过去,然后把接口对象存到成员中,这个时候我发现虽然都是用的智能指针但是我如果释放这些接口时好象得显式增加操作接口才可能完成?

是这个交叉应用的设计不对吗?但是实际情况确实有很多是这样的啊?这个需求怎么更好的解决?

坐等高手答疑!!!

高手在哪?

COM接口比较复杂，学习下