Câu chuyện truyền thuyết về sự ra đời của chùa Bổ Đà mang nhiều huyền bí. Tương truyền, vào khoảng thế kỷ thứ XI, dưới chân núi có một gia đình tiều phu tuy nghèo nhưng rất tốt bụng, chăm chỉ hiền lành, dân trong làng ai cũng quý mến. Hiềm một nỗi đã ngoài 40 tuổi mà họ vẫn chưa có con. Một hôm người chồng vác búa cắp rìu lên núi kiếm củi bỗng gặp một gốc cây thông già, mỗi nhát bổ ông lại niệm: "Quan thế âm Phật". Sau đó được 32 đồng tiền ở gốc cây, tự lấy làm lạ bèn đến vị cao tăng hỏi thì cao tăng bảo rằng: "Đức phật quan âm có 32 điều ứng". Người tiều phu khấn cầu rằng: "Nhược bằng đức Phật quan âm phù hộ cho tôi sinh con trai, tôi xin dựng chùa thờ". Quả nhiên sau đó người tiều phu có con trai thực, rồi dành dụm được ít tiền bèn dựng một ngôi chùa ngay gốc cây thông già, lợp gianh và tô một pho tượng Quan âm Tống Tử để hương khói phụng thờ. Sau dần dần nhiều người qua lại lễ bái, cầu việc gì cũng đều biến ứng, bèn trở nên nơi danh lam thắng cảnh, vì thế gọi tên là chùa ông Bổ.
Theo Đỗ Huệ - Cao Tuân
Vì là chùa thờ vị Phật Đà (Bụt Đà, có nguồn gốc từ chữ Buddha) đã ứng hiện giúp ông tiều phu (ông bổ củi) nên gọi là chùa Bổ Đà. Cũng có cách giải thích khác rằng, Bổ Đà là cách gọi chệch từ Phổ Đà - có nguồn gốc từ chữ Phật Đà. Đây là nơi đức Quán Âm Bồ Tát ứng hiện cứu đời nên còn được gọi là chùa Quán Âm. Sau này, chùa bao gồm cả chùa Tứ Ân, nên nó còn có tên Tứ Ân tự (tên gọi của chùa chính được gọi cho cả quần thể chùa bao gồm chùa Tứ Ân, chùa Quán Âm, chùa Cao...)