家賀集落の中心部に建つ「西福寺」は、忌部神社の別当でした。かつて旧貞光町吉良には、「忌部神社」を中心に東に東福寺、西に西福寺が建立され、東西を守護していました。「西福寺」は、奈良時代の神亀年中(７２６年)に「忌部神社」の西寺として創建され、大同４年(８０９年)に弘法大師が留まられた以降、真言宗に改められ、本尊に阿弥陀如来を祀りました。戦国期の永禄９年(１５６９年)には、大火で諸堂や旧記を焼失しましたが、秀真上人が寺院を復興しました。しかし、江戸期の元禄９年(１６９７年)、延享４年(１７４８年)の火災で全焼、大正２年(１９１３年)の火災により遂に退山しました。そして、昭和１５年(１９４０年)に麻殖氏ゆかりの家賀道上に本堂や回廊を建築し現在にいたっています。
