Chùa Tượng Sơn còn có tên là Chùa Hầm Hầm. Chùa nằm ở sát tả ngạn sông Ngàn phố. Phía sau chùa có núi Seo Voi, tên chữ là Tượng Sơn nên chùa lấy tên là chùa Tượng Sơn (Tượng Sơn tự). Phía Tây của chùa có khe nước chảy từ dãy Đại Huệ về, đến đầu ngọn Seo Voi gặp ghềnh đá khe phải chảy quật ra từ tây chùa Tượng Sơn đổ xuống sông Ngàn phố. Nước chảy qua ghềnh đá nhiều bậc tạo nên tiếng ầm ầm, do vậy dân gian lấy tiếng ầm ầm của nước khe chảy qua ghềnh đá để gọi tên khe là khe Hầm Hầm, do đó chùa quen tên gọi là chùa Hầm Hầm.  
        Chùa Tượng Sơn là di tích liên quan đến thân thế, cuộc đời của đại danh y dân tộc Hải Thượng Lãn Ông Lê Hữu Trác.  Chùa được xây dựng từ thời Hậu Lê - thế kỷ XVIII. Theo gia phả của họ Lê Hữu ở Hương Sơn thì bà Tham đốc, vợ thứ hai của “Tả hiệu điểm tham đốc quận công Bùi tướng công” đã tác ý lập ra chùa này để tu tập và thờ phụng tổ gốc ở huyện Đông Thành, phủ Diễn Châu, Nghệ An. Công lao xây dựng chùa này lại do họ Lê ở Hương Sơn đóng góp. Bà Tham đốc là mẹ đẻ của bà Bùi Thị Thưởng, vợ ông Lê Hữu Mưu. Ông Lê Hữu Mưu và bà Bùi Thị Thưởng chính là thân phụ và thân mẫu của đại danh y Hải Thượng Lãn Ông Lê Hữu Trác.
        Dưới thời vua Lê chúa Trịnh, chán cảnh nhiễu nhương của vòng danh lợi, Hải Thượng Lãn Ông Lê Hữu Trác đã về quê mẹ ở làng Tình Diệm (huyện Hương Sơn) rồi học nghề làm thuốc  cứu nhân độ thế, giúp ích cho đời. Trong thời gian này Hải Thượng Lãn Ông Lê Hữu Trác đã cùng với mẹ và anh trai là Thạch Trai Lê Hữu Tán lo việc xây cất chùa từ lúc khởi công cho đến lúc hoàn thành. Trong thời gian vừa hành nghề thuốc, vừa dạy học, vừa chữa bệnh và nghiên cứu đông y cổ truyền, Hải Thượng Lãn Ông thường có thú tiêu giao, dạo xem phong cảnh, lên núi tìm thuốc, tham quan các di tích và phong cảnh xứ Hồng Lam. Lê Hữu Trác thường hay đến và nghỉ lại tại chùa Tượng Sơn cùng bè bạn đàm đạo văn thơ. Chùa Tượng Sơn cũng là một trong những nơi Hải Thượng Lãn Ông dùng làm nơi đọc sách, nghiên cứu về thuốc chữa bệnh và soạn thảo bộ sách nổi tiếng “Y tông tâm lĩnh” gồm 66 quyển và một số tác phẩm nghiên cứu về đông y kết hợp với y học dân gian.
        Chùa Tượng Sơn là một nơi thờ Phật. Ngoài ra trong chùa còn thờ liệt tổ nội ngoại của Hải Thượng Lãn Ông Lê Hữu Trác là họ Lê Hữu và họ Bùi. Cùng với hệ thống di tích hồ Sen - núi giả và mộ Hải Thượng Lãn Ông Lê Hữu Trác, chùa Tượng Sơn cũng là một di tích liên quan đến thân thế, cuộc đời của đại danh y dân tộc Hải Thượng Lãn Ông Lê Hữu Trác.
        Trải qua bao thăng trầm của lịch sử, của chiến tranh, lũ lụt, các công trình kiến trúc, các hiện vật đã gắn liền với cuộc đời của Hải Thượng Lãn Ông không còn là bao ngoài mảnh đất thiêng liêng gắn với cuộc đời của Lê Hữu Trác và gia quyến ở đất vương nhà và ngôi chùa Tượng Sơn. Nơi đây, thân mẫu Lê Hữu Trác – bà Bùi Thị Thưởng hưng công xây dựng chùa, bản thân Lê Hữu Trác cũng thường xuyên đến chùa và sau này có nhiều người trong dòng họ Lê Hữu tu hành ở chùa Tượng Sơn.
        Với sự đóng góp của nhân dân Hương Sơn, sự quan tâm của chính quyền địa phương và Nhà nước, của Bộ Y tế cụ thể là Viện bỏng quốc gia Lê Hữu Trác,  cụm khu di tích Lê Hữu Trác đang được xây dựng tu bổ lại uy nghi hoành tráng với các khu di tích thành phần như Tượng đài Lê hữu Trác, khu mộ, khu di tích vườn thuốc, nhà đón tiếp, bãi xe… dần dần đưa cụm di tích ngày một xứng tầm với mục đích là nơi tôn vinh công lao, vị thế của Hải Thượng Lãn Ông đã cống hiến cho đất nước, đặc biệt là ngành y học cổ truyền của dân tộc. Dự án tu bổ, tôn tạo di tích chùa Tượng Sơn là một dự án thành phần nhằm tiếp tục triển khai, cụ thể hóa thực hiện dự án tu bổ tôn tạo quần thể di tích Đại danh y Lê Hữu Trác tại Hương Sơn -  Hà Tĩnh.
        Dự án tu bổ quần thể di tích Lê Hữu Trác trong đó có chùa Tượng Sơn, nhằm tôn vinh những đóng góp to lớn của Đại danh y cho đất nước, xứng đáng với tầm cỡ của một cụm công trình đã được xếp hạng di tích lịch sử văn hoá quốc gia, nhằm giữ lấy những giá trị vật thể mà Đại danh y đã để lại đang ngày một mai một. Qua đó giáo dục truyền thống cho tầng lớp viên chức ngành y học cổ truyền nói riêng và ngành y nói chung về cái tâm, cái đức của một người thầy thuốc mẫu mực, không ngoảnh mặt trước bệnh tật, hết lòng nghiên cứu, cứu chữa bệnh nhân không kể sang hèn, đúng với câu nói “Lương y như từ mẫu”.
        Với vị trí đẹp, phong cảnh sơn thuỷ hữu tình, một khi công trình được xây dựng lại khang trang sẽ trở thành một một địa điểm du lịch và sinh hoạt văn hoá tâm linh của nhân dân địa phương cũng như trong cả nước. Qua đó giáo dục truyền thống uống nước nhớ nguồn tốt đẹp của dân tộc ta. Di tích  chùa Tượng Sơn được tu bổ tôn tạo sẽ hoàn thiện khu quần thể di tích về Danh y Lê Hữu Trác.
        Di tích lịch sử văn hoá chùa Tượng Sơn là một di tích khởi dựng từ thời Hậu Lê, có giá trị đặc biệt quan trọng gắn liền vị anh Đại danh y Lê Hữu Trác. Di tích chứa đựng nhiều giá trị vật thể và phi vật thể, là di tích quan trọng của huyện Hương Sơn nói riêng và tỉnh Hà Tĩnh nói chung.
        Việc tu bổ, tôn tạo khu di tích chùa Tượng Sơn là một dự án cụ thể được triển khai và khi hoàn thành thì cụm di tích Đại danh y Lê Hữu Trác tại Hương Sơn - Hà Tĩnh sẽ phát huy tốt nhất vai trò và giá trị của khu di tích này trong việc tôn vinh Đại danh y Lê Hữu Trác và đem lại hiệu quả cao cho công tác giáo dục truyền thống yêu nước, truyền thống của nghành y Việt Nam.