该寺始建于隋开皇六年（586年），宋初由皇帝下诏重建寺内主要建筑——佛香阁及阁内213米高铜制观音像，现仅观音像为宋塑原物，阁为1942年重建。寺内摩尼殿，建于宋皇四年（1052年），面阔、进深皆七间，十字形平面，内部采用殿堂型构架，重檐歇山顶，四面出抱厦。转轮藏和慈氏阁皆为宋代楼阁，外观相似，均为单檐歇山顶，二层楼，下层带抱厦。但楼层结构作法有所不同，慈氏阁采用永定柱造，是现存宋代建筑中唯一的孤例。转轮藏殿内的北宋时代转轮藏是最早的藏经橱遗物。