古时桃源洞一带山上有许多栟榈树，所以历史上又称为栟榈山。据有关记载，唐代就有头陀僧结庐于葛里，五代后晋时期建有栟榈寺。明代万历年间（ 公元1605年）当地安砂人两郡司马陈源湛捐资建有亭、台、楼、阁十余处，取“世外桃源”之意改名为桃源洞，并在入口120米高的峭壁上36米高处刻有“桃源洞口”四个大字。南宋宰相李纲和左正言邓肃曾在此隐居、读书，明代大旅行家徐霞客也曾游览此地，并都留有诗句。从此桃源洞名闻遐尔。

​

​

​‍