Đây là ngôi miếu duy nhất trên đảo, thờ Bà Phi Yến - vị "Thần Nữ" được người dân Côn Đảo hết lòng tín ngưỡng và kính trọng chỉ sau nữ anh hùng Võ Thị Sáu.
Bước qua cổng chào, du khách sẽ cảm nhận được ngay sự linh thiêng, trang nghiêm chốn này với sự im lặng đến ngỡ ngàng. Tất cả mọi người tới đây đều nhẹ nhàng, cẩn trọng.
Kiến trúc ngôi miếu không quá đồ sộ, nhưng không gian vô cùng thoáng đãng, rộng rãi và mát mẻ bởi những cây thị cổ thụ phủ bóng mát khắp khoảng sân rộng. Ở giữa sân có một hồ cá nhỏ, tiếp đến là tượng hai chú sư tử oai phong. Không gian bên trong miếu được bài trí gọn gàng với các ban thờ Phật, Bà Phi Yến, Bác Hồ…
Người dân địa phương kể rằng, An Sơn miếu gắn liền với câu chuyện bi thương của mẹ con bà Phi Yến. Năm 1783, sau khi thua quân Tây Sơn, Nguyễn Ánh mang theo vợ, con và thuộc hạ chạy ra đảo Côn Sơn.
Cùng với những người dân chài đang sinh sống ở đây, Nguyễn Ánh đã lập nên 3 làng là An Hải, An Hội và Cỏ Ống. Ðể đánh lại quân Tây Sơn, Nguyễn Ánh dự định gửi con cả là Hoàng tử Cảnh đi theo cố đạo Pháp (Bá Ða Lộc) sang Pháp cầu viện. Bà Phi Yến can chồng đừng "cõng rắn cắn gà nhà".
Nguyễn Ánh nghe vậy tức giận, tống giam bà vào một hang đá trên đảo Côn Lôn nhỏ. Nghe tin quân Tây Sơn đánh ra đảo, Nguyễn Ánh bỏ chạy. Hoàng tử Cải, con bà Phi Yến lúc đó mới 4 tuổi đòi mẹ đi cùng.
Trong cơn tức giận Nguyễn Ánh đã ném con xuống biển. Xác hoàng tử Cải trôi vào bãi biển Cỏ ống và được dân làng chôn cất. Bà Phi Yến, theo truyền thuyết được một con vượn và một con hổ trắng cứu ra khỏi hang, về sống với dân làng và trông nom mộ hoàng tử Cải. Một lần, sau khi bị một kẻ xấu xúc phạm, bà đã tự tử để thủ tiết.
Trân quý đức hạnh của bà, Nhân dân đã lập miếu thờ và ngày 17 và 18/10 âm lịch hang năm làm cỗ chay tổ chức lễ giỗ Bà Phi Yến. Có dịp đến Côn Đảo, bạn đừng quên tới miếu An Sơn để khám phá những nét đẹp về văn hóa, truyền thống nơi đây.