很早以前在江淮一带生活着一只神龟，它的背脊是圆的，肚皮是方的，隐藏着“天圆地方”的奥秘。传说它是四千年前与舜帝重华是故交。舜帝南巡时，龟留在北方，帮助大禹治水，不能随舜帝南巡。由于龟治水立了大功，玉帝赐给它一万年的寿命。至此，龟成为勇敢和长寿的象征。后来神龟闻讯舜帝崩于苍梧之野，悲痛大哭得死去活来。随后，舜的两个妃子娥皇和女英又南下沿湘江而上寻夫。神龟也就急忙只身南下到达苍梧之野，找了很久，谁也没有找着。它见此地风水颇佳，便选择了这块雌雄二水合流的南山脚下憩息。这只神龟在这里只打了一个盹，就是800年。不一日，神仙李铁拐来到这里，见神龟还在睡觉，便用手杖敲醒它，它就向前爬了几步不走了，这就是“龟山”。这只神龟成了湖南省古谢沐县和后来甘棠人的保护神。这里不少关于神龟的传说和祭祀龟的古建筑。

　　江永县上甘棠村南建有龟塔，原高十二米，与文昌阁相对应，香火很旺，后来倒塌了；民国元年重建，建在一个大古头上，高1.2米，相当于原龟塔的十分之一高。村南山坳上又建有寿龟凉亭，让村人出入时用手去摸一摸，保佑旅途顺利。过去村人禁吃乌龟团鱼，据说谁吃了谁就会招来灾祸。也不准骂人“乌龟”、“王八”，认为这样骂是对神龟的亵渎。他们也不让别人骂他们是“王八”，如果有人这样伤害他们，他们就会当场理论。