IMS体系结构和CSCF的设计利用了软交换技术，实现了业务与控制相分离、呼叫控制与媒体传输相分离。IMS虽然是3GPP为移动用户接入多媒体服务而开发的系统，但由于它全面融合了IP域的技术，并在开发阶段就和其它组织进行密切合作，使得IMS实际已经不仅仅局限于只为移动用户进行服务。IMS体系结构如图所示。
在IMS体系结构中，最底层为承载层，用于提供IMSSIP会话的接入和传输，承载网必须是基于分组交换的。图中以移动分组网的承载方式为例，描述了IMS用户通过手机进行IMS会话的方式，主要的承载层设备有SGSN（GPRS业务支撑节点）、GGSN（网关GPRS业务支撑节点）以及MGW（媒体网关）。其中SGSN和GGSN可以重复利用现网设备，不需要硬件升级，仅通过做相关配置就可以支持IMS。MGW是负责媒体流在IMS域和CS（电路交换）域互通的功能实体，主要解决语音互通问题。无论具体采用哪一种接入方式，只要基于IP技术，所有的IMS用户信令就可以很好地传送到控制层。
中间层为信令控制层，由网络控制服务器组成，负责管理呼叫或会话设置、修改和释放，所有IP多媒体业务的信令控制都在这一层完成。主要的功能实体有CSCF、HSS（HomeSubscriberServer，归属用户服务器）、MGCF等，这些网元执行不同的角色，如信令控制服务器、数据库、媒体网关服务器等，协同完成信令层面的处理功能，如SIP会话的建立、释放。这一层仅对IMS信令负责，最终的IMS业务流不经过这一层，完全通过底层的承载层做路由实现端到端通信。
最上面一层是应用层，由应用和内容服务器组成，负责为用户提供IMS增值业务，主要网元是一系列通过CAMEL、OSA/Parlay和SIP技术提供多媒体业务的应用平台。运营商可以自行开发一些基于SIP的应用，通过标准SIP接口与IMS系统连接；如果运营商需要连接第三方SP的应用，IMS可以和标准的API，如OSAAPI连接，通过OSA/ParlayGW对第三方非信任的SP业务进行鉴权和管理等。
