Chùa được xây dựng vào mùa đông tháng mười âm lịch năm 1049.

Chùa chỉ có một gian nằm trên một cột đá ở giữa hồ Linh Chiểu nhỏ có trồng hoa sen. Truyền thuyết kể lại rằng chùa được xây dựng theo giấc mơ của vua Lý Thái Tông (1028-1054) và gợi ý thiết kế của nhà sư Thiền Tuệ. Vào năm 1049, nhà vua đã mơ thấy được Phật bà Quan Âm ngồi trên tòa sen dắt vua lên toà. Khi tỉnh dậy, nhà vua kể chuyện đó lại với bày tôi và được sư Thiền Tuệ khuyên dựng chùa, dựng cột đá như trong chiêm bao, làm toà sen của Phật bà Quan Âm đặt trên cột như đã thấy trong mộng và cho các nhà sư đi vòng xung quanh tụng kinh cầu kéo dài sự phù hộ, vì thế chùa mang tên Diên Hựu.

Hằng năm cứ đến ngày 8 tháng 4 Âm lịch, nhà vua lại tới chùa làm lễ tắm Phật. Các nhà sư và nhân dân kinh thành Thăng Long cùng dự lễ. Sau lễ tắm Phật là lễ phóng sinh, vua đứng trên một đài cao trước chùa thả một con chim bay đi, rồi nhân dân cùng tung chim bay theo trong tiếng reo vui của một ngày hội.

Đến năm 1105, vua Lý Nhân Tông cho sửa ngôi chùa và cho dựng trước sân hai tháp lợp sứ trắng. Năm 1108, Nguyên phi Ỷ Lan sai đúc một cái chuông rất to, nặng một vạn hai nghìn cân, đặt tên là "Giác thế chung" (Quả chuông thức tỉnh người đời). Đây được xem là một trong tứ đại khí - bốn công trình lớn của Việt Nam thời đó - là: tháp Báo Thiên, chuông Qui Điền, vạc Phổ Minh và tượng Quỳnh Lâm. "Giác thế chung" đúc xong nặng quá không treo lên được, để dưới mặt đất thì đánh không kêu. Người ta đành bỏ chuông xuống một thửa ruộng sâu bên chùa Nhất Trụ, ruộng này có nhiều rùa, do đó có tên Quy Điền chuông (chuông ruộng rùa). Đến thế kỷ 15, giặc Minh xâm lược, chiếm thành Đông Quan (Hà Nội). Năm 1426 Lê Lợi đem nghĩa quân Lam Sơn ra đánh, vây thành rất gấp. Quân Minh thiếu vũ khí đạn dược, tướng Minh là Vương Thông bèn đem phá chuông Quy Điền lấy đồng. Quân Minh thua, nhưng chuông Quy Điền thì không còn nữa.

Văn bia tháp Sùng thiện diên linh (chùa Đọi, Hà Nam), năm 1121 viết: "Do lòng sùng kính đức Phật và dốc lòng mộ đạo nhân quả (đạo Phật) nên hướng về vườn Tây Cấm nổi danh (Ngôi vườn ở phía tây cấm thành Thăng Long đời Lý) mà xây ngôi chùa sáng Diên Hựu theo dấu vết chế độ cũ, cùng với ý mưu mới của nhà vua (ý nói: theo dấu vết lề lối xây dựng chùa đời Lý Thánh Tông, có thêm ý mới của Lý Nhân Tông mà chữa lại chùa đẹp hơn trước)".

Đến thời nhà Trần, chùa đã không phải là ngôi chùa đời nhà Lý nữa vì sách cũ đã ghi: Năm 1249, "...mùa xuân, tháng giêng, sửa lại chùa Diên Hựu, xuống chiếu vẫn làm ở nền cũ...".

Chùa Một Cột được trùng tu vào khoảng những năm 1840-1850 và vào năm 1922. Đài Liên Hoa chúng ta thấy hiện nay được làm lại năm 1955 do kiến-trúc-sư Nguyễn Bá Lăng đảm-nhiệm.

Theo tài liệu lịch sử, lối kiến trúc một cột có từ trước đời nhà Lý. Ở Hoa Lư, Ninh Bình trong ngôi chùa con gái vua Đinh Tiên Hoàng, có một cây cột đá cao, sáu cạnh, khắc bài kinh Lăng Nghiêm, đề niên hiệu thời Lê Hoàn (981–1005). Phía trên cột là tòa sen chạm. Năm Long Thụy Thái Bình thứ năm đời Lý Thánh Tông (1058) có xây điện Linh Quang ở Thăng Long, phía trước điện dựng lầu chuông, một cột sáu cạnh hình bông sen. Như vậy, trước khi xây chùa Một Cột, lối kiến trúc đó đã là một thực tế nghệ thuật cổ truyền.

Ngôi chùa có kết cấu bằng gỗ, trong chùa đặt tượng Phật bà Quan Âm để thờ. Năm 1105, vua Lý Nhân Tông cho mở rộng kiến trúc khu chùa có thêm hồ Linh Chiểu. Về sau, quy mô chùa Một Cột chỉ còn lại ngôi chùa nhỏ trên cột đá như hình ảnh hiện nay. Thực dân Pháp trước khi rút khỏi Hà Nội đã cho nổ mìn phá chùa. Tuy nhiên, chùa đã được trùng tu cơ bản như trước. Chùa Một Cột hiện nay bao gồm đài Liên Hoa hình vuông, chiều dài mỗi cạnh 3 m, mái cong, dựng trên cột cao 4 m (không kể phần chìm dưới đất), đường kính 1,20 m có cột đá là 2 khúc chồng lên nhau thành một khối. Tầng trên của cột là hệ thống những đòn gỗ làm giá đỡ cho ngôi đài ở trên. Đài Liên Hoa có mái ngói, bốn góc uốn cong, trên có lưỡng long triều nguyệt. Ngày nay không có những cánh sen trên cột đá như đã nói đến trong bia văn thời nhà Lý, nhưng ngôi chùa dựng trên cột vươn lên khỏi mặt nước vẫn là kiến trúc độc đáo, gợi hình tượng một bông sen vươn thẳng lên khu ao hình vuông được bao bọc bởi hàng lan can làm bằng những viên gạch sành tráng men xanh. Kiến trúc chùa xây dựng gần với kiến trúc nhà Hậu Lê.

Trong vườn chùa hiện có một cây bồ đề sum xuê từ đất Phật, do tổng thống Rajendra Prasad tặng nhân dịp Chủ tịch Hồ Chí Minh qua thăm Ấn Độ năm 1958.

Chùa Một Cột đã được chọn làm một trong những biểu tượng của thủ đô Hà Nội, ngoài ra biểu tượng chùa Một Cột còn được thấy ở mặt sau đồng tiền kim loại 5000 đồng của Việt Nam. Tại quận Thủ Đức, Thành phố Hồ Chí Minh cũng có một phiên bản Chùa Một Cột.