Sở Ngoại vụ Hà Nội chính thức được thành lập năm 1996, trên cơ sở ban đầu từ Ban Ngoại vụ TP (thành lập năm 1982), sau đổi là Ban Đối ngoại Hà Nội (năm 1989), Sở Kinh tế Đối ngoại (năm 1992).
Qua 15 năm hoạt động, Sở Ngoại vụ đã đóng góp tích cực công tác đối ngoại của TP, góp phần phát triển kinh tế - xã hội, hội nhập sâu quốc tế và nâng cao vị thế của Thủ đô. Đến nay, Hà Nội đã có quan hệ hợp tác với hơn 100 thủ đô, TP của các nước và vùng lãnh thổ trên thế giới, gấp hơn 3 lần so năm 2001. Thông qua mở rộng hợp tác, TP còn tham gia và tổ chức các hoạt động: Mạng lưới các thành phố lớn châu Á thế kỷ XXI (ANMC21), Mạng lưới các chính quyền địa phương về quản lý dân cư (Citynet), Hiệp hội các TP lớn trên thế giới (Metropolis), Hiệp hội các TP có lịch sử lâu đời (AIMF)... Gắn kết hợp tác với các tổ chức kinh tế nước ngoài, như: Ngân hàng hợp tác quốc tế Nhật Bản (JBIC), Cơ quan hợp tác quốc tế Nhật Bản (JICA), Cơ quan hợp tác quốc tế Hàn Quốc (KOICA), Ngân hàng Thế giới (WB), Ngân hàng châu Á (ADB)…, tạo điều kiện cấp phép cho các đơn vị tổ chức hội nghị, hội thảo quốc tế (giai đoạn 2001 - 2005) 200 hội nghị; (giai đoạn 2006 - 2011) là 280 hội nghị, bảo đảm an toàn, chất lượng được bạn bè quốc tế đánh giá cao; cấp thẻ APEC cho khoảng 180 công ty với 350 doanh nhân…, góp phần huy động và tranh thủ các nguồn lực quốc tế; Tham mưu cho TP tổ chức các chương trình hợp tác với nhiều thành phố, thủ đô của nhiều nước trên thế giới. Qua đó góp phần quảng bá về văn hóa, con người đất nước và thủ đô Hà Nội với bạn bè quốc tế. Cùng với đó, phối hợp với các bộ, ngành T.Ư, góp phần tổ chức thành công các sự kiện quốc tế lớn diễn ra tại Hà Nội. Gần đây là Hội nghị Đại hội đồng Interpol 2011; Hội nghị các Bộ trưởng Quốc phòng; Bộ Kế hoạch và Đầu tư... thành công tốt đẹp, được bạn bè quốc tế đánh giá cao, nâng cao vị thế của Thủ đô trên thế giới.
Đặc biệt, hướng về kỷ niệm Đại lễ 1000 năm Thăng Long - Hà Nội, Sở đã tích cực hoạt động góp phần hoàn thành thủ tục, hồ sơ đề nghị UNESCO vinh danh Hà Nội là "Thành phố vì hòa bình" (năm1999); UNESCO ra Nghị quyết tham gia tổ chức kỷ niệm 990 năm và 1000 năm Thăng Long - Hà Nội và tổ chức thành công Đại lễ kỷ niệm này.