寺伝によれば、「冨賀寺」の発祥は1,300年前（飛鳥時代）。創始は行基菩薩で、大宝元年（701）十一面観音像を彫り「来迎院」という小寺を建てたことにはじまるといわれている。平安時代には「藤原忠平」（ふじわらのただひら）卿が来院し観音像を参拝したところ、たびたび夢に現れたので、天慶4年（941）に橘備後守・石田勘解由に命じて、本堂・護摩堂・三重の塔・大門等十二坊舎を造り、天慶6年（943）落慶供養をして、稲三千束を寄進されたという。いまでも大師堂に忠平卿の像が大切に祀られている。
14世紀になると、鎌倉幕府を倒して室町幕府を開いた「足利尊氏」（あしかがたかうじ）公が登場する。尊氏公の従兄弟「真応上人」が「冨賀寺」住職となり戦勝祈願をしたところ、尊氏公は連戦連勝して、ついに延元3年（1338年）室町幕府の初代将軍になった。尊氏公は、これを「冨賀寺本尊のお加護」によると考えて、以後、祈願寺として、田地１８０町を寄進し、本堂・中堂・護摩堂・阿弥陀堂ほか、大坊・中谷坊・杉本坊・法寂坊等の坊舎１８坊を造営した。現在も文化財として残っている「三千仏名宝塔図」「荒神図」もこのときに寄贈したと思われる。
16世紀になると、今川氏の進出をむかえ、天文21年（1552）には冨賀寺寺領として安堵された文書が残っている。享禄３年（1530年）の「宇利城合戦」には、当時裏山の四十九院が「松平清康」公の本陣となり、以後江戸時代末期まで徳川氏の保護下に入ったようで、家康をはじめ各将軍より２０石を安堵された御朱印状が残っている。
戦後の農地解放政策により、日本全国の仏教寺院は所有財産の多くを失うことになる。冨賀寺もその例にもれず１０町近くの田畑を失い、檀家数１００戸あまりの小寺院になった。寺院経営のため保育園を設立することになり、家族も一般の家庭と同様に公務員や民間企業などに就職することになり現在に至っている。