Tọa lạc ở số 40 phố Nhà Chung, quận Hoàn Kiếm, nhà thờ Lớn được xây dựng trên khu đất vốn là nền của tòa tháp Báo Thiên nổi tiếng của kinh thành Thăng Long thời Lý (thế kỷ 11-12), ở phía đông hồ Hoàn Kiếm.
Nhà thờ Lớn có tên chính thức là nhà thờ Saint Joseph, khánh thành vào lễ Giáng sinh năm 1887, sau hai năm xây dựng. Nhà thờ được thiết kế theo phong cách kiến trúc Gothique trung cổ châu Âu, rất thịnh hành trong thế kỷ 12 và thời Phục Hưng ở châu Âu, với kiểu dáng phỏng theo nhà thờ Đức Bà Paris.
Khi mới xây dựng, khu vực quanh nhà thờ còn hoang vắng, ít nhà cửa. Đến thập niên 1890, phố Nhà Thờ được xây dựng theo hướng từ nhà thờ ra hồ Hoàn Kiếm, khi đó vị trí nhà thờ Lớn mới trở nên đắc địa và đóng vai trò quan trọng trong không gian đô thị Hà Nội.
Ngày nay, nhà thờ Lớn được coi là một trong những công trình kiến trúc tiêu biểu nhất của Thủ đô Hà Nội.
40 Nhà Chung
Ngõ Giáp Bát
Đường Phùng Khoang - Trung Văn
222 Trần Duy Hưng, Trung Hòa
Số nhà 23, hẻm 50/5, ngách 66, Thái Thịnh 2 - Láng Hạ
177 Bùi Thị Xuân (sau tòa nhà Vincom)
80 Thái Thịnh II, Thịnh Quang
136 Xuân Thuỷ
614 Lạc Long Quân (khuôn viên Công viên nước Hồ Tây)
177 Bùi Thị Xuân (sau tòa nhà Vincom)
84B Nguyễn Du
Tầng 17 Ruby Plaza 44 Lê Ngọc Hân
Tầng 5 Vincom Tower - 191 Bà Triệu