灵山寺始建于北魏孝帝延兴四年（公元474年），为佛教传入中国所建最早寺院之一。唐玄宗时曾被封为国庙。宋元祐二年（公元1087年）扩建。元延祐二年（公元1315年）重修。明洪武三年（公元1370年）太祖朱元璋到此降香，封当时的住持僧陈大用为金碧峰禅师，令其随驾入京，参议朝政，并为寺门题“圣寿禅寺”匾额，又赐半副鸾驾陈于大殿。