Tại lễ khai hội, bà Trần Thị Nga - Chủ tịch UBND phường Hàng Buồm cho biết, đền Bạch Mã trấn giữ phía Đông thành Thăng Long, thờ thần Long Đỗ, người đã có công giúp Vua Lý Thái Tổ xây thành Đại La.
Đền được xây dựng từ năm 865 đời nhà Đường. Năm 1010, Vua Lý Thái Tổ dời đô từ Hoa Lư về Đại La, định đắp thành nhưng nhiều lần thành đắp lên đều bị đổ. Vua cho người đến đền Bạch Mã cầu khấn thần Long Đỗ thì thấy ngựa trắng từ trong đền đi ra, đi một vòng từ Đông sang Tây, đi đến đâu để lại dấu chân đến đó, rồi trở lại đền và biến mất.
Vua sai người lần theo vết chân ngựa trắng lập đồ án xây thành, quả nhiên thành được xây xong và đứng vững. Thần Long Đỗ có công giúp Vua xây thành, Vua bèn cho sửa lại đền thờ và phong thần Long Đỗ là “Quốc đô Thăng Long thành hoàng đại vương”. Đền là một trong tứ trấn Kinh thành Thăng Long xưa.
Lễ hội đền Bạch Mã gắn liền với lễ tiến Xuân Ngưu (lễ hội dâng trâu mùa Xuân) của đất Thăng Long. Nghi lễ này có ý nghĩa là tống tiễn mùa Đông và đón nhận mùa Xuân. Nhưng trong thực tế sản xuất thì con trâu còn là "đầu cơ nghiệp", là sức kéo cơ bản trong nông nghiệp nên rước trâu còn có ý nghĩa khuyến nông. Như vậy, lễ tiến Xuân Ngưu vào ngày lập xuân là một phong tục vừa có tính nghi thức cung đình lại vừa có tính tín ngưỡng dân gian của Kinh thành Thăng Long.
Ngày 18/1/2022, Thủ tướng Chính phủ đã ký Quyết định số 93/QĐ-TTg xếp hạng Di tích quốc gia đặc biệt đợt 12 cho 5 di tích trên cả nước, trong đó có Di tích lịch sử và kiến trúc nghệ thuật Thăng Long tứ trấn, gồm đền Bạch Mã (quận Hoàn Kiếm), đền Voi Phục, đền Quán Thánh (quận Ba Đình) và đền Kim Liên (quận Đống Đa), TP Hà Nội.
Chủ tịch UBND phường Hàng Buồm nhấn mạnh, đây là hoạt động văn hoá trọng tâm của quận Hoàn Kiếm, thể hiện đạo lý "uống nước nhớ nguồn", tấm lòng thành kính với công đức của cha ông và tôn thờ thần Long Đỗ.
Từ sáng sớm, đội rước kiệu khởi hành từ đền Mã Mây đi qua các tuyến phố lớn để về đền Bạch Mã. Đi đầu là đội múa rồng, sư tử; tiếp đến là đội cờ, trống chiêng, sinh tiền, đánh bồng, bát âm; đội kiệu lễ vật và đội kiệu bát cống đền Bạch Mã với đầy đủ tàn, tán, lọng; đội tế nam quan; dâng hương nữ...