相傳在南北朝時，有個叫潘子良的人，在今桃江縣城西南二十八公里處的一個山崖下煉丹修道，成仙后，他煉丹用過的水格外明凈。

　　有一天，桃花仙子駕云漫游到此，被其吸引。便情不自禁地降落云頭嬉戲于井旁，并將發髻上的一朵桃花丟在井水里，誰知桃花落在沾滿仙氣的井水里翻滾，一變十、十變百。隨溢出的井水順流而下，使整個溪流長年浮滿桃花。

　　另外，王母娘娘一侍女看上溪邊一石匠，便私自下界與其結為夫妻。臨產時被王母娘娘發現，生產后不得不被迫返回天庭，分別時，侍女送丈夫一對玉簪，囑其插到溪流兩岸。玉簪便變成了桃樹萬棵，這條溪流也就成了桃花江。侍女生下一男一女也像其母親一樣面似桃花，美若天仙。兩岸女子經溪水洗浴，亦百般嬌美。

　　桃花江是美人窩，桃花千萬朵，比不上美人多……"三十年代，著名作曲家黎錦輝先生一曲《桃花江是美人窩》，使桃花江名揚天下。的確，桃花江是一個山美水美人亦美的地方，這里山水如畫，風景優美，氣候宜人，是湖南省十大旅游區之一。從此，桃花江有人間仙境之美稱。

　　美麗如畫桃花江 桃花江發源于寧鄉縣的龍塘，進入桃江縣境內的子良巖后，才稱桃花江，長27.8公里，有83道彎，穿山走谷，在桃江縣城桃花江港處，坎坎流入資江。

　　桃花江上游奇峰怪石，急澗瀑布相連，每當春季桃花盛開之時，中下流兩岸山水相映，一片火紅，大有"爛漫芳菲，其色甚媚"的萬千氣象，令人留連忘返。