传说有一位失宠的皇妃，逃出皇宫，流落临泽镇。后皇妃生得一子，把儿子抚养成人后，官至宰相。宰相回临省亲，不想生母早已仙逝，为报母亲养育之恩，宰相不惜巨资，在母亲住过的地方盖起了一座富丽堂皇的寺院，并以母亲的名字题名“安乐寺”。
还有一说，安乐寺与古代民间传说的二十四孝子之一的朱寿昌有关。北宋年间，扬州出了个孝子朱寿昌（亦说就是高邮人），其父在京城为官，其母为妾，持自重之心的朱寿昌生母，为了免受歧视，在朱寿昌出生不久，忍痛割爱丢下幼子，离开朱门远走他乡。朱寿昌长大成人做了官，思念母亲愈加心切，每到一地为官，总是寻访母亲，但每次希望都成了泡影。为报答为儿的孝心，四十开外的朱寿昌毅然脱了官服，辞了官职，用点燃的香头灼背烧顶，用钢针刺血写经，忌食酒肉，身穿布衣，踏上了寻母之路。
然寻母如大海捞针，朱寿昌饱受风餐露宿、跋山涉水之苦。二十四孝的唱词中写道：“天苍苍，路茫茫，母子相别各一方，千呼万唤叫不应，儿子天天叫亲娘，苦了孝子朱寿昌。”一日，朱寿昌投宿临泽镇，夜里梦见白发苍苍的母亲就住在这个镇上，呼唤着“昌儿，昌儿”。朱寿昌从梦中惊醒，第二天一大早起来，就在小镇上的大街小巷打听，见一屋内一位白发苍苍的老太婆正在生火烧饭。在向老人诉说了自己的身世后，老人如雷震耳，难以相信分别了数十年的儿子就在面前。母子相认后，抱头痛哭。朱寿昌找到母亲后，与母亲在临泽住了一段时间，想接母亲回家，被母亲拒绝。无奈，朱寿昌回家将妻儿带到临泽与母亲团聚，让母亲享受天伦之乐。
朱寿昌万里寻亲娘，终于在千年古镇与母相会的消息传到京城，皇上立即下诏要朱寿昌回京复官，并以御宴相迎。朱寿昌奏请皇帝恩准在他母亲住过的地方建一寺庙，以表达对母亲的愧疚，给母亲一个安慰。皇上当即恩准，下拨建寺钱粮，并赐名“安乐寺”。据说，寺庙只有接到皇帝的旨意才能建造龙脊，因此，才有了临泽安乐寺大雄宝殿的龙脊为全国三条龙脊之一的说法。朱寿昌回到临泽后，就在老母所住的巷子附近建起了安乐寺。临泽有了安乐寺，晨钟暮鼓天天响起，香火日益旺盛，名声越传越远。后来临泽就把安乐寺南门对面朱寿昌与母亲同住过的巷子叫孝子巷，并一直沿用至民国年间。
