Bộ sưu tập của ông bao gồm hơn 400.000 tờ báo cũ, phát hành từ cuối thế kỷ XIX đến nay.
Ông Nguyễn Phi Dũng bắt đầu sưu tầm báo từ năm 2016, tiếp nối niềm đam mê của cha mình. "Từ những năm 70, 80 của thế kỷ trước, cha tôi đã có thói quen mua báo hàng ngày, đọc say mê rồi cẩn thận đóng tập để lưu giữ. Niềm đam mê ấy đã truyền cảm hứng cho tôi trân trọng tri thức và giá trị văn hóa mà sách báo mang lại"- ông Dũng chia sẻ.
Hiện tại, kho báo của ông có hơn 1.000 đầu báo, nặng khoảng 21 tấn. Đặc biệt, bộ sưu tập bao gồm nhiều ấn phẩm quý như Gia Định báo- là tờ báo đầu tiên xuất bản tại Việt Nam bằng chữ quốc ngữ, cụ thể là xuất bản số đầu tiên tại Sài Gòn năm 1865; tờ Phụ nữ tân văn, xuất bản số đầu năm 1929 tại Sài Gòn năm; tờ Le Courrier d’Haiphong (Thư tín Hải Phòng), xuất bản từ năm 1886.
Ông Nguyễn Phi Dũng còn sưu tầm được nhiều tờ báo cách mạng thời kỳ đầu như Cứu Quốc, Cờ Giải Phóng, Vui Sống, Độc Lập; những tạp chí văn hóa, văn học nổi tiếng một thời như Ngày Nay, Phong Hoá.
Thời gian gần đây, ông Nguyễn Phi Dũng đã sưu tầm được đầy đủ 63 tờ báo của Đảng bộ 63 tỉnh, thành trên cả nước trên trang nhất có thông tin, hình ảnh về công tác tổ chức lễ quốc tang cố Tổng Bí thư Nguyễn Phú Trọng.
Để bảo quản kho báo khổng lồ, ông Nguyễn Phi Dũng dành riêng một căn phòng rộng 50m² trong trụ sở công ty riêng của gia đình, trang bị điều hòa và máy hút ẩm, duy trì nhiệt độ ở mức 22°C. Những tờ báo đặc biệt quý hiếm được bọc túi nylon, cuộn tròn, cất trong ống vỏ đạn và đặt cẩn thận trong tủ kính.
Chia sẻ tại buổi trao xác lập kỷ lục trên, ông Thang Văn Phúc - Chủ tịch Trung ương Hội Kỷ lục gia Việt Nam cùng đại diện Bảo tàng Báo chí Việt Nam, cơ quan quản lý báo chí ở địa phương đánh giá cao ý nghĩa công việc sưu tầm báo chí của ông Nguyễn Phi Dũng. Đây không chỉ là công việc để thỏa mãn niềm đam mê của cá nhân mà còn là sự tâm huyết, trân trọng những giá trị lịch sử, văn hóa; giá trị thông tin, tri thức mang lại; đặc biệt có ý nghĩa và phục vụ thiết thực cho công tác tìm hiểu, nghiên cứu lịch sử.