Theo sách Đại Nam nhất thống chí, Văn Miếu được dựng từ năm Minh Mệnh thứ 14 (1833) ở làng Hoàn, xã Đông Lỗ (nay là phường Thạch Linh) nằm về phía Tây Bắc đạo thành. Trên thực tế Văn Miếu không còn, song qua khảo sát những gì còn lưu giữ được thì Văn Miếu là nơi thờ phụng đức Khổng Tử, bậc hiền triết sáng lập nên đạo Nho và các học trò của ông. Lúc đầu đầu Văn Miếu chỉ là ngôi nhà gỗ lợp tranh, sau đó được sửa chữa, mở mang dần và trở thành công trình đồ sộ, đẹp đẽ. Văn Miếu được phân bố trên một khuôn viên rộng, thoáng mát với diện tích khoảng 2.500 m2, ngoảnh mặt về hướng Đông, cách đường Quan ( Quốc lộ 1A ngày nay) 50 m.

Đi vào Văn Miếu có cổng tam quan (cổng chính cao khoảng 5m, hai cổng phụ (tả, hữu) cao khoảng 2, 3m đều làm bằng gỗ lim, có nghê đứng chầu, dân địa phương còn gọi là hai cột nanh). Cổng chính thường dành cho quan địa phương, nho sĩ và các vị bô lão, hai cổng phụ dành cho học trò và người dân. Qua cổng tam quan là con đường lát gạch chạy thẳng tới hồ bán nguyệt ở giữa, sau đó theo hai lối tả, hữu đi vào sân rộng và đến Thượng đường. Hồ bán nguyệt thường gọi là hồ Văn Miếu rất sâu, nước trong veo, nắng hạn lâu ngày cũng không bao giờ cạn. Tương truyền Hồ Văn Miếu rất linh thiêng, các cô gái trong làng không ai dám đến đây khi mặt trời đã lặn vì sợ ma quỷ quấy rối. Văn Miếu cũng là nơi thanh tịnh, sạch sẽ, xung quanh trồng cây cối làm hàng rào bảo vệ (chủ yếu là cây tre). Người dân vùng này quan niệm đây là nhà thờ Thánh nên kiêng kị, rất ít khi vào. Vì vậy, Văn Miếu giữ nguyên hiện trạng cho đến năm 1955. Miếu có ba tòa nhà chính, xếp hình chữ “môn” và nhà “túc hậu” (thường gọi là nhà mặc áo) được làm bằng gỗ, nhà 4 mái (2 mái dài, 2 mái ngắn) lợp ngói âm dương, đỉnh nóc đắp nổi hoạ tiết 2 con rồng “lưỡng long chầu nguyệt”(hai đầu rồng ngoảnh mặt vào nhau). Các cột trụ ở mỗi gian và các vì kèo trong nhà đều làm bằng gỗ lim, xung quanh các cột tạo hình dáng long, ly, quy, phượng uốn lượn, bay bổng, phóng khoáng, tinh tế. Nền nhà đắp bằng đất cứng cao ráo, trơn, mịn, bằng phẳng có màu đen. Móng nhà được xây bằng đá ong rất chắc chắn.  Lên bậc tam cấp vào Ngôi Thượng đường rộng lớn, đẹp đẽ. Thượng đường (nhà chính) giữa có điện thờ chính, phía trên treo bức hoành phi, hai bên là hai câu đối. Điện thờ là nơi đặt Bài vị thờ Chi thánh “Khổng Tử”, hai bên là bài vị thờ “Tứ Phối” (Nhan Tử, Tăng tử, Tử tư, Mạnh Tử). Trong hai dãy Tả Vu, Hữu Vu thờ “thất thập nhị hiền” (72 vị hiền triết của đạo nho Trung Quốc) và các vị tiên hiền, tiền bối trong nước và của vùng đất Hà Tĩnh. Nhà chính còn có các pho tượng chạm khắc tinh tế, sơn son thiếp vàng. Trên bệ thờ có rương làm bằng gỗ đựng sắc phong, bài vị. Sau nhà Thượng đường là nhà túc hậu (nhà mặc áo). Tại Văn Miếu trước đây thường diễn ra các lễ tế với nghi thức trang trọng. Đó là lễ tế xuân (tháng 2 âm lịch) và tế thu (vào ngày 15 tháng 8 âm lịch), tức là ngày lễ tế Nho thánh và các vị tiên hiền. Lễ tế rất trang nghiêm do các vị quan đầu tỉnh và các bô lão đứng ra chủ trì, Hội Tư văn đảm nhiệm việc tế. Trước lễ tế, quan địa phương, các vị bô lão khăn đóng, áo dài làm lễ. Sau khi tế có cuộc hội ẩm của quan chức, văn thân hàng tỉnh. Hội Tư Văn là một tổ chức của giới nho sỹ, gồm các nhà khoa bảng, các nhà văn thân tiêu biểu trong tỉnh. Những người đậu đạt cao trước khi nhận ấn tín, mũ áo vua ban thường đến Văn Miếu lễ bái để tỏ lòng biết ơn các vị Nho thánh đã ban cho ân đức, học hành đỗ đạt làm rạng rỡ gia tộc, họ hàng và tự hứa sẽ giữ trọn đạo “Vua tôi”. Ngoài tế lễ Văn Miếu còn là nơi tổ chức các kỳ sát hạch học trò toàn tỉnh chọn ra những người giỏi để đi thi Hương. Kỳ thi Hương năm 1919 là kỳ thi cuối cùng, từ đó về sau kỳ sát hạch học trò cũng không còn nữa. Sau Cách mạng Tháng Tám ở Văn Miếu chỉ diễn ra lễ tế xuân đinh, thu đinh và một số hoạt động văn thơ của hội Tư văn. Năm 1950, toàn bộ hiện vật ở Phương Cần (Cẩm Xuyên) như: tượng Thánh Khổng Tử, bài vị, văn điếu, bia, câu đối đều đem về hợp tự ở Văn Miếu. Đến năm 1955, sau khi thực hiện công cuộc cải cách ruộng đất, Văn Miếu bị phá dỡ hoàn toàn, một số tượng thờ ở Văn Miếu và các đền chùa trong thành đều hợp tự về Võ Miếu .Trên đất Văn Miếu xưa bây giờ là Trường dạy nghề của Liên đoàn lao động Tỉnh. Qua bao thăng trầm lịch sử, di tích Văn Miếu chỉ còn lại là chiếc lư hương bằng đồng nằm trên nền khu đất cũ. Mặc dù vậy, trong ký ức của người dân Hà Tĩnh, Văn Miếu là nơi lưu danh các bậc hiền tài, là niềm tự hào của người dân nơi đây, và mong muốn lớn nhất của Đảng bộ, chính quyền và nhân dân là sớm khôi phục Văn Miếu, góp phần bảo tồn và phát huy những nét đẹp văn hoá của vùng đất “địa linh nhân kiệt”.