Đền Thiên Vựng nằm nép mình bên tả ngạn sông Đáy, tựa lưng vào dãy núi Hàm Long trùng điệp. Cửa đền nhìn ra dòng sông, nơi Đáy Giang uốn khúc như dải lụa. Ngọn núi chính hình thành 9 cấp nhìn tựa như 9 đầu rồng hướng về đền. Từ ngọn núi này, nước chảy qua lèn đá tuôn róc rách quanh năm.
Ngôi đền ẩn nhập vào lớp áo choàng xanh của những lùm cây cổ thụ, cây ăn quả trải rộng trên diện tích 20.807m2. Thế nên, khách thập phương luôn cảm thấy không khí u tịch, mát mẻ ở chốn này. Vãn cảnh, du khách không khỏi trầm trồ khi ngắm nhìn kiến trúc của ngôi đền. Công trình này được xây dựng theo kiểu chữ “Vương” ngoài chữ “Quốc”. Phía ngoài có cổng đền và tường bao quanh. Phía trong là hai dãy hành lang, nhà đại bái, nhà hậu cung và tòa ống muống. Tòa hậu cung có 9 rồng chầu. Trong đền còn lưu giữ được toàn bộ hệ thống hoành phi, câu đối sơn son thếp vàng, sơn mài, khảm trai có giá trị. Đặt giữa tòa đại bái là hai bức hoành phi: “Vạn cổ anh linh” và “Nam thiên thượng đẳng”. Trong đền còn có hàng chục câu đối gỗ sơn son thếp vàng và nhiều câu đối của các quan đại thần.Theo sách “Đại Nam nhất thống chí” và thần phả, sắc phong lưu trữ tại đền thì thần thuộc dòng dõi Kinh Dương Vương, con cháu Vua Hùng. Sinh thời, thần là một vị tướng phò Lý Bôn dẹp giặc Lương xâm lược. Thần được Lý Bôn phong làm “Tổng thống quân vụ thủy đạo thượng tướng quân”. Ngài cùng với đại tướng Phạm Tu thống lĩnh quân sĩ, phía Bắc dẹp tướng giặc Tiêu Tư nhà Lương, phía Nam dẹp giặc Chăm Pa xâm lược giúp đất nước thanh bình. Ngày 6/12, ngài đi xe mây về cửa sông Hát thuộc trang Hữu Vĩnh, hào quang sáng rực một vùng. Ngài hóa tại đây, hiển thánh và được Lý Nam Đế sắc phong: “Nam thiên linh ứng tối linh thượng đẳng tôn thần”. Nhà vua còn ban bạc, ruộng đất cho trang Hữu Vĩnh làm “hộ nhi” để tu sửa đền và phụng thờ. Cũng vì thế mà sau này, vua Đinh Tiên Hoàng, Hưng Đạo Vương Trần Quốc Tuấn… đã vào đền làm lễ tế trước khi tiến đánh quân xâm lược. Trải qua các triều đại, đền đều được sắc phong với ghi nhận: “Xưa nay giúp nước, giúp dân nhiều lần linh ứng, xếp vào tối linh thần ở trời Nam”. Đền được công nhận di tích lịch sử - văn hóa cấp quốc gia từ năm 1991.
