彼岸花与不扫径的传说花神祠至绣楼之间有一片梅林，林间穿行一条石径，当地一位念过私塾的李老先生说，这条石径叫“不扫径”。石径两旁长满了一种似兰非兰的花卉，这就是佛教第一花“彼岸花”。
在佛教中，彼岸花的传说非常凄美。据《山海经》记载，百花仙子无法在没有阳光的阴间种出鲜花，在蓬莱红颜洞中苦思冥想，又遭王母贬落凡间，曾叹红颜薄命！在人间所闻所看，所闻所想，让她顿悟：不见阳光的阴间是种不出鲜花的，月有阴晴圆缺，人有悲欢离合，此事古难全。百花仙子常看到当年兄长轩辕黄帝的炎黄部族与蚩尤的九黎部族的“逐鹿大战”中的孤魂野鬼和那些不能忘情、不喝“孟婆汤”、冤死的鬼魂，至今仍在阳间飘荡，没有归宿，于是在阴阳两界的冥河边种上了这种凄美独特、长着幽绿的长叶的花卉，用冥河水浇灌，希望它能开花到阴间去。果不然，当佛祖释迦牟尼圆寂后，必须经人间轮回才能成佛的真身也难渡冥河，在冥河边徘徊，只得盘膝诵经，九天后，彼岸花被经文所动，冥河边开满了黄色的花朵，叠成九层花坛，要渡释迦牟尼过冥河，释迦牟尼对这些花说：你们一旦过了冥河就再也回不来了。众花义无反顾地渡释迦牟尼过了冥河。花坛下面两层浸到了冥河黑色的河水中被肢解了。走下七层花坛的释迦牟尼为肢解了的花朵念了超度亡经，看着染满冥河毒水的花，为它们定名“曼珠沙华”。对七层花坛说：你们必为我佛界之物，定名为“七级浮屠”。众花看着冥河对岸阳间自己的叶根无不潸然泪下，知道从此后，花叶永不相见。民间因其花开在阴间，叶长在阳间，花永远见不到叶，叶永远见不到花，隔冥河相望，称其为“彼岸花”，立为佛界第一花。阴间终于有花了，百花仙子大喜过望，令“佊岸花”引渡那些孤魂野鬼和不喝“孟婆汤”的、冤死的鬼魂过冥河，终于有了归宿。
据唐氏后人说，唐岳有个小女儿，聪明伶俐，长大后择婿苛刻，一直闺中待嫁，后因伤感父母早逝，遂在家祠中出家，给父守灵，每天打扫花神祠前石径小路。有一天，她扫着扫着忽然停了下来，因为她看到了彼岸花开。当她从佛经中知道了彼岸花凄美的故事，触景生情，想到阴阳相隔的父母，潸然泪下。从此以后，她不再打扫这条石径，转而精心护理花叶。她立下誓愿：春不扫，枯叶满径，秋不扫，花落满径，让彼岸花的花和叶在不扫径上相见重逢。雁山园花神祠前的石径不扫的规矩就这样传了下来。也许是唐岳小女儿触景生情，思念阴阳相隔早逝父母，也可能是村民同情小姐而杜撰的故事，但雁山园中确实有一座花神祠和一条开满彼岸花的石径小路，彼岸花与“不扫径”的传说，成为雁山园最动人的故事之一。