Theo gia phả của làng để lại, chùa Bụt Sơn từ ban đầu vốn chưa có tên là Bụt Sơn. Đầu tiên chùa thiết lập ở cụm chùa Đá Nẻ có hai xã là Dương Chinh và Trà Xá. Thời gian thành lập chùa hiện nay không có tài liệu nào ghi lại chính xác. Tương truyền cũng theo gia phả của làng để lại thì thời kỳ Mặc Đăng Doanh, dân làng 2 xã Dương Chinh và Trà Xá do nằm ở dưới chân núi nên bị tình nghi là giặc ẩn náu hoạt động trong rừng. Do vậy nhân dân 2 xã Dương Chinh và Trà Xá bị quân Mặc Đăng Dung kéo đến đốt phá  sạch nhà cửa, cho tru di tam tộc. Thời kỳ này dân làng đã bỏ trốn, chạy loạn khắp mọi miền Nam Bắc của đất nước. Chùa thời kỳ này cũng bị tàn phá nhiều và không được để ý đến.

Cũng theo gia phả của làng đến năm 1878, chùa được dời đến một vị trí  mới, đó là ở sau rú Bụt. Vị trí này bây giờ là nghĩa địa của các dòng họ. Trước đó vùng đất này là một thung lũng, nước từ trên núi chảy xuống tạo thành một vị trí đất rất đẹp. Sau khi xem xét vị thế của đất đai dân làng đã quyết định dời chùa về đây và gọi là chùa Sen.

Chùa Sen tọa lạc ở vùng đất yên tĩnh đó từ năm 1878 đến năm 1885. Năm 1885 chùa được dời về trung tâm của thôn Đông Tây. Giai đoạn này chùa được đặt tên là Già Lam Tự, chùa có 2 nhà thượng điện và hạ điện. Thượng tự của chùa thờ Phật, hạ tự là nơi dùng để làng hội họp qua các ngày lễ hội.

Năm 1975 đất nước thống nhất, xã Phú Lộc lấy vị trí của chùa làm nơi văn hóa của xã, xây dựng trường cấp 1, cấp 2. Sau đó trường dời và địa điểm chùa làm thành kho tàng hợp tác xã nông nghiệp,

Năm 1982, chủ trương của Đảng ủy, chính quyền quyết định dời chùa lên núi Bụt. Do vị trí được đặt trên núi Bụt nên chùa được đặt tên là Bụt Sơn tự. Chùa Bụt Sơn tọa lạc trên núi Bụt từ năm 1982 cho đến nay.