藏山祠规模宏大，由文子祠、寝宫、藏孤洞、梳洗楼、八义祠、报恩祠、启忠祠组成。
藏山祠古建筑群大体分两组：以文子祠为中心的主体建筑为一组，以先祖庙、三代庙、八义庙、启忠祠等附属建筑为一组。以文子祠为中心的主体建筑嵌于幽深清净、跌岩回环的山谷之中。亭台楼阁皆依山门、牌楼、戏台、钟鼓二楼]东西碑房、正殿、寝宫、梳洗楼等自南向北，依次排列在一条中轴线上，附属建筑置院落之外，区别鲜明，是按照宫廷建筑的特征而设计的。
山门系上下二层结构，下呈石洞状，上为木筑楼，总高约6.5米，进深为3.09，通面宽5.46米，进深为3.09米，通面宽5.46米。山门南侧立有巨大石壁，称龙壁，长宽均为2.5米，上镌两条蛟龙，吞云吐雾，刻工精湛。
牌楼位于庙首，檐牙高琢，琉璃瓦棱，身高约9米，宽3.5米，系木结构。上题“藏孤胜境”四个金字，煞是雄伟。
钟鼓楼牌楼向内分列钟、鼓两楼，长5.69米，宽5.12米，高7.24米。
戏台与钟鼓楼相邻，体宽9.46米，进深7.65米。
正殿位居祠之中央，是祀俸赵文子之处，此殿为单檐悬山顶结构，通体面宽13.45米，进深10.56米，檐高5.23米，柱头施以肥硕雄健的斗拱，承托着深远翼出的飞檐；屋顶梁架折平缓，卯榫严实； 刹雕饰八洞神仙；殿内采用减柱法，空间宽敞，充分显示出辽、金时代的建筑风格，正殿中的文子塑像及两旁文臣武将，身高达2.3~2.8米以上比例适度，姿态自如。大殿左右两侧有彩绘壁画42幅，详细叙述了藏孤救赵的故事。壁画笔力流畅，山水人物，惟妙惟肖，色彩如新。
寝宫位于正殿后掌西侧，亦称后殿。是一座典型的金代建筑。其筑于一自然生成的龛岩内，经年风雨不蚀，保存完整。此建筑系悬山六檩结构，横跨3间，面宽10米，进深7.16米.外形斜拱重叠,举折平缓,上架铁铸梁槽,两端矗立雄伟高大的琉璃鸱尾,飞檐高琢,五六兽,精致美观.内施垂木和斜材,构成了近似人字柁架的屋 ，并画栋雕梁，使整个殿堂绚丽多姿，引人入胜。
梳洗楼位于北山腰，为两层木结构，上层面宽17.2米，进深4.61米，下层面宽17.66米，进深8.17米，系双檐歇山顶，四周围廊，室内无柱，所有部件皆系要制卯榫拼合而成，整座楼亭，精美秀丽，鬼斧神工，凭栏秘鸟瞰，藏山全貌尽收眼底。
此外，还有祭祀为救赵氏孤儿而丧生的程婴之子的假孤殿，祭祀赵氏先祖的先祖庙，祭祀程婴、韩厥、公孙杵臼等忠臣义士的报恩殿、二灵殿、三代庙、八义庙、奶奶庙、启忠祠、应忠祠、表孤祠，以及八角亭、六角亭、落架亭、僧院等诸多建筑。皆依地势而筑，因各朝均有增扩建，故整个祠院的建筑鳞次栉比，相得益彰，别具风韵，是一处不可多得的古建筑瑰宝。
