小溪的北侧是一所四合院，大门的牌匾上写着天王殿四个字，建筑为单檐硬山式，基址与柱础等物为宋代遗存。
大殿内的左右山墙镶嵌着唐、宋、元、明、清代的碑碣17方。
大殿的中央立着一座北宋年间的经幢。
天王殿北的东西两侧是钟楼和鼓楼，均为北宋寺内住持妙空和尚创建，钟楼内现存有明正德六年（1511年）住持正昂铸造的一尊铜钟。
大雄宝殿原本是宋代的献殿，由本寺住持仁钦和尚创建于北宋崇宁、大观年间（1102—1110年）。
以前僧人均在此处诵经朝拜，明正统年间改称大雄宝殿。
如今的大雄宝殿建造于清代中叶，面阔五间、进深六间、红柱青瓦，左右有葱郁参天的古银杏树相衬，显得分外壮观。
千佛殿是寺内保存最完好、规模最宏大的建筑。
据考证：此建筑是唐贞观年间由本寺住持慧崇主持修建的，公元1061年寺内住持琼环进行重修，明嘉靖年间再次进行重建。
此后又曾多次修葺，基本保留了宋代的风貌。
大殿建在2米高的台基上，面阔七间、进深四间、丹柱碧瓦、斗拱错落，整个殿宇金碧辉煌、气派非凡。
大殿四周围以矮墙，形成院落。
院内院外均有古木，在近院处有据说是汉代时栽种的柏树，虬盘鳞结、苍劲挺拔。
树旁有明万历三十六年（1608年）立的《汉柏记》，上书：此柏方萌芽，汉文帝梦灵岩庙左右有千柏，命通往观之。
至，惟见一萌芽，回以实报。
文帝祭而祝之，曰：当与此山并传不朽。
大殿内的中央台座上供奉着三尊大佛，东为药师佛，明成化十三年（公元1477年）以铜铸造；中为毗卢遮那佛，宋治平年间在钱塘制作；西为阿弥陀佛，为明嘉靖二十二年（公元1543年）的铜铸。
殿内的四周曾经排列着数以千计的坐佛，每尊佛约30厘米高，多数木质，少数铜质，约为明代所置。
佛像情态各异，有的沉思，有的怒目，有的争辩，有的说法，无一雷同，生动传神。
其衣饰彩绘也处理得干净利落，线条或柔美流畅，或刚健有力，有曲有直、有深有浮、富于节奏。
如今，殿内的佛像已不足500尊。
御书阁位于千佛殿的东北侧，由唐代本寺住持慧崇禅师创建，曾经供有唐太宗、宋太宗、宋真宗、宋仁宗等皇帝的御书，因此取名御书阁。
北宋大观年间，住持仁钦禅师主持重建。
金代，寺院遭遇战火，御书被焚毁。
明代时重修御书阁，并在阁内塑菩萨和玉皇像。
御书阁共有两层，下层是石砌台基，有拱门；上层为阁体，飞檐起脊。
阁前拱门上的石隙间生有古青檀，盘根错节，枝柯纵横，取名为云檀，是寺内的一大奇观。
阁基内外有很多嵌石刻，其中最为著名的是宋代《圆通经》。
《圆通经》创作于元符二年（公元1099年），共有四页，1400余字，为草书，字体潇洒俊逸。
《圆通经》石刻与天王殿内的元代汉藏文成对照碑。
大雄宝殿的西侧是鲁班洞，传说东晋十六国时的前秦隐士张忠曾在此隐居，也是朗公禅师的藏骨之处。
经文物工作者考察，此处是早期进入寺院的山门，山门为南北方向，南侧有拱门，门内两侧的石壁上镶嵌着唐代景云、开元和北宋淳化、大观年间的题名石刻。
其中以西壁上的唐天宝元年（公元742年）北海太守李邕在撰书的《灵岩寺颂并序》碑最为著名，其字笔力遒劲、笔势开放，是他65岁时的得意之作。