幽居寺是北齐时期的重要寺院。寺由北齐官寺定国寺僧标禅师与北齐定州刺史、六州大都督、赵郡王高叡「同舍异珍，建斯灵宇」。先由僧标草创寺宇，继有高叡扩建创新，增筑灵塔。寺以塔为中心，是中轴在线的主体建筑，且保存至今。塔平面为方形，创建于北齐，重修于唐代。塔身建于简朴的方形台座上，每边长五．二三米，密檐七层，高约二十三米。第一层较高，南面辟半圆形石拱门。门框由整条石材雕琢而成，边框及门楣上满布线刻莲花化生童子、云龙、金翅鸟及忍冬纹饰；周饰波斯联纹。整幅图案的云龙纹雕刻，云气飞动，龙神矫矢，展示了高超的北齐艺术风格。塔身自第二层以上每层的高度依次递减，外部轮廓也逐渐内缩，使塔体外形呈方锥形，显得优雅简朴，挺拔稳固，是北朝砖塔的典型遗存。

据《灵寿县志》记载：北齐赵郡王高叡，历选太行胜概，得朱山之阳，建祁林寺（即幽居寺） 。置僧舍二百余间，择行僧二千余众居之。齐亡，寺亦荒废。继盛于元大德间。

经过一千四百多年的变迁，寺院早已废圮，但却较完整地保留了七级方砖塔一座及一部分附属文物，包括古碑四通（北齐碑二、元碑二）、以释迦、阿閦、无量寿等三佛（高叡为亡父、母、兄、妻及自身造）为主的汉白玉石佛像二十一尊和石经幢一座。这些现存佛教遗迹，都具有重要的历史和文物价值。

高叡为北齐高祖、神武帝高欢弟赵郡王高琛之子，《北齐书》及《北史》皆有传。据其本传记载，高叡（公元五三六——五七O年），小名须拔，三岁父高琛死，为高欢钟爱，养于宫中，恩同诸子。十岁丧母，母为魏女侍中、华阳郡长公主元氏。东魏兴和（公元五三九——五四二年）中，袭爵南赵郡公。文宣帝高洋即位，叡进封爵为赵郡王，邑一千二百户。

天保七年（公元五五六年） ，以「使持节、散骑常侍、都督定州诸军事、抚军将军、仪同三司、定州刺史、六州大都督、赵郡王」的身分，造汉白玉石三佛像。八年（公元五五七年）被召赴邺。后受任防卫长城内外。

皇建元年（公元五六0年），孝昭帝高演临终，高叡受托顾命，奉迎世祖于邺，以功拜尚书令。世祖死，高叡与冯翊王润、安德王延宗及元文遥等人，参奏当朝权臣、鲜卑人和士开，被太后杀于雀离佛院，时年三十六岁，死无赠谥。

高叡崇佛，从其所造寺、像可见一斑。传载数母病逝，他居丧尽礼，「持佛像长斋（斋戒禁食），至于骨立（形容消瘦，如皮包骨），杖而后起（需拄杖方可立起）。

该碑立于幽居寺塔外东南角，高近二米，宽一米，三十八行，每行六十四字，凡三千余字。碑额题〈大齐赵郡王口口口之碑〉十字，正书「天保八年（公元五五七年）二月十五日立」。碑文详述定国寺禅师僧檦创始该寺，赵郡王任定州刺史时拓而新之，更建灵塔的史实。对当地的地貌、形胜、传说和佛教信仰，该地与北齐帝室的关系等，都有所记载。碑文用典驯雅工仗，行文繁丽多致，可资提供不少讯息。

据〈赵郡王高叡修寺碑〉：「又复运蓝田之玉，采荆山之珍，镂弹变化，图穷相好」，可知该寺造像无论是选料还是雕镂，都极精工。这从现存遗物得到了充分的证明。其中，〈赵郡王修寺碑〉碑额上部凿佛龛，内浮雕释迦坐像一尊，碑阴上部佛龛浮雕释迦、多宝佛并坐像。碑首凿佛龛，是北朝寺庙碑的通例。寺内现存汉白玉造像，共计二十一尊，其中十八尊藏于塔内底层，三尊立于塔外。从造像纪年刻铭看，塔由三尊大型造像为高叡天保七年雕造，塔外大型造像为赵郡王国常侍房绍兴于天保十年雕造。这批造像均为北齐雕刻艺术的传世之作。

塔内三尊大像，为幽居寺塔供养的主佛，正中为释迦牟尼佛，右为阿閦佛，左为无量寿佛。三尊造像大小相近，高者一。四五米，低者一.三米，艺术作风统一，均为北齐造像杰作。头雕低平磨光肉髻，面相丰满，双目微启，神态安详。身着偏袒右肩袈裟，双手作说法印或施无畏、与愿印，手腕戴镯，两腿结跏趺坐。这三尊主佛出自皇室高氏之手，弥足珍贵。该寺元代圣旨碑，还称为「三尊佛祁林院」，三尊佛成为寺院的代称，可见其影响之深远。塔内其它小型造像，现均崁于底层三面墙壁上。多为坐佛像，菩萨像仅一尊。高度在二十——四十八厘米之间。其造型多与三尊大佛相近，一尊为善跏趺坐佛，双手作施无畏、与愿印，两侧夹侍二弟子。菩萨作右舒相坐式，坐于细长束腰圆座上，双手作施无畏、与愿印。这些造像，大多雕刻技艺水平很高，造型特点显著，可谓北齐造像中的上乘之作。