Theo truyền thuyết, Từ Thức quê ở ở Hòa Châu (tức Thanh Hóa bây giờ) trong thời đại nhà Trần, niên hiệu Quang Thái (1388-1398) dưới triều vua Trần Thuận Tông. Ông xuất thân từ con quan nên được bổ nhiệm làm một chức quan nhỏ ở một địa hạt thuộc xứ Kinh Bắc (nay thuộc huyện Tiên Du, Bắc Ninh). Ông có sở thích hay đi ngao du, xem phong cảnh đẹp và làm thơ, còn việc quan thì ông thường bỏ mặc, nên hay bị quan trên quở trách, sau đó Từ Thức xin từ quan.
Tháng 2 năm Bính Tỵ (1396), một hôm khi Từ Thức đến thăm chùa có nhìn thấy một thiếu nữ tuổi chừng mười sáu, mười bảy, nhan sắc xinh đẹp, đến xem hoa, nhỡ tay vịn gãy một cành hoa mẫu đơn, không có gì để đền, nên bị các chú tiểu nhà chùa bắt giữ lại để phạt vạ. Từ Thức trông thấy cảnh đó và với tấm lòng nhân hậu, hiệp nghĩa, ông liền cởi áo mặc ngoài, chuộc cho thiếu nữ. Mọi người đứng xem đều khen Từ Thức là người nhân đức.
Từ Thức nghe danh huyện Tống Sơn có nhiều núi đẹp, liền đem theo một tiểu đồng và một túi đàn đến dựng một gian nhà nhỏ ở chân núi để ở. Một hôm, dậy sớm, trông ra cửa Thần Phù thấy có mây ngũ sắc kết thành hình hoa sen, Từ Thức một mình chèo thuyền ra phía ấy. Ðến chân một dãy núi cao ngất, chạy sát mặt biển, ông buộc thuyền lên bờ và trèo lên một mỏm đá cao.
Chợt trông thấy một cái hang bên sườn núi, cửa hang tròn và rộng, Từ Thức thử vào hang xem sao. Từ Thức mới đi được vài bước thì cửa hang bỗng đóng ập lại. Hang tối mịt mùng, không còn biết đường lối nào. Từ Thức phải lần theo khe nước mà đi. Ði một lúc lâu, thấy có ánh sáng, ông lần ra khỏi hang và đi đến một chân núi khác. Thấy núi cao vòi vọi, sườn núi dốc ngược, Từ Thức cố bám vào hốc đá trèo lên.
Lên cao, ông thấy có đường rộng, rồi lên đến đỉnh núi thì trời quang đãng, ánh sáng rực rỡ, xa xa có lâu đài cung điện nhấp nhô bên những lùm cây xanh. Từ Thức đi theo đường lớn đến một lâu đài. Có hai thiếu nữ đi từ lâu đài ra, nói với Từ Thức rằng: “Phu nhân sai chúng tôi ra mời người vào chơi”.
Từ Thức đi theo hai người con gái, thấy lầu son gác tía, tường gấm, bậc đá xanh, trước kia ông chỉ thấy đề cập đến trong sách, bây giờ mới thật mắt trông thấy. Trên mấy cửa đi qua, chàng thấy có chữ đề: “Ðiện Quỳnh Hư”, “Gác Giao Quang”, ông theo hai thiếu nữ lên gác, thấy một vị phu nhân mặc áo lụa trắng ngồi trên sập thất bảo, trước sập có kê đôi kỷ gỗ đàn hương.
Người đó cho biết đây là hang thứ sáu trong ba mươi sáu động núi Phi Lai, xưng là Ngụy phu nhân, địa tiên núi Nam Nhạc. Phu nhân bảo thị nữ gọi một tiểu thư ra. Vừa trông thấy, Từ Thức nhận ngay ra người con gái đánh gãy cành hoa mẫu đơn trong chùa ngày nọ.
Người con gái đó có tên là Giáng Hương, mang ơn của Từ Thức nên đem lòng cảm kích. Ngay đêm hôm ấy, phu nhân sai mở tiệc hoa, cho hai người làm lễ thành hôn.
Từ Thức ở được chừng một năm, có ý nhớ nhà, nói với Giáng Hương rằng: ” Tôi đi xa nhà đã lâu, lắm lúc nhớ quê cũ, muốn về thăm một chút”. Giáng Hương khuyên rằng: “Thiếp không phải vì tình lưu luyến hẹp hòi mà ngăn trở ý định của chàng, chỉ vì ở trần gian tháng ngày ngắn ngủi, sợ chàng có về đến nhà, cũng không thấy còn như trước nữa”.
Sau đó vị phu nhân mới sai người lấy một cỗ xe để tiễn đưa. Giáng Hương viết một phong thư dán kín đưa cho chồng, dặn đến nhà hãy mở ra xem.
Từ Thức từ biệt Giáng Hương và Phu nhân, rồi lên xe, chỉ chớp mắt đã về đến làng cũ. Phong cảnh khác hẳn xưa, chỉ còn hai bên khe núi là vẫn nguyên như trước. Chàng đem họ tên mình hỏi thăm các cụ già trong làng thì có một cụ trả lời: “Hồi nhỏ, tôi cũng có nghe nói hình như cụ tổ bốn đời nhà tôi họ tên cũng như thế, nhưng lạc vào hang núi cách đây đã ngót hai trăm năm rồi”.
Từ Thức buồn rầu, muốn lại ngồi lên xe tiên để đi, thì xe đã hóa thành chim loan bay đi mất rồi. Mở bức thư của Giáng Hương ra xem, chỉ thấy có dòng chữ: “Ở nơi tiên cảnh, cùng nhau kết bạn, nay duyên xưa đã hết, không còn mong hội ngộ”.
Về sau, người ta thấy Từ Thức đội cái nón nhỏ vào núi Hoàng Sơn (thuộc huyện Nông Cống, Thanh Hóa) không thấy trở về nữa.
