日治時期大正四年（一九一五）爆發西來庵事件，余清芳假借神意糾眾起義，失敗被捕，廟也被廢，至今大興街廟址已歷經三次遷移。下週日（二十三日）廟方舉辦八部開光啟靈回鑾遶境，將走訪三代西來庵廟址，緬懷過去的榮光。

清代府城的五靈公信仰，官民設置兩間廟宇，官方祭祀白龍庵、民間祭祀西來庵。早期西來庵位於「亭仔腳街」，即今青年路府城隍廟旁教會處。

余清芳是日治時期退職巡捕，在西來庵假借神意起乩，發動二千餘人參與抗日行動，是為「西來庵事件」，是漢人武裝抗日最大規模事件，判處死刑人數也最多。當時，台灣總督府下令將西來庵消滅，解散信眾，神像文物被拿到孔廟前公開示眾三天，神像焚於大火之中，只有八尊神像被信眾偷運至竹溪寺存放，成為「秘佛」，西來庵管理委員會曾嘗試要回神明，迄今仍無下落。

青年路“基督復臨安習日會台南教會”即第一代的西來庵廟址。（記者陳俊文攝）

余清芳假借神意起事，後人有「余清芳，害死王爺公」諺語，也有清代鄉賢陳震曜後代陳清吉從事牛奶配送工作，綽號「牛奶吉仔」，他也參與受牽連入獄，但未被判死刑，出獄後從事食品行業，目前牛奶吉後代就在今日民生路開業「甘本堂」麵包店。

西來庵戰後就是由陳清吉結合地方信眾在「牛磨後」，即現今正興街建廟，這是第二代的西來庵。後來正興街拓寬，西來庵於二００一年遷至大興街現址，是第三次遷移。