靠近湘江之滨,在衡阳湘江上的公路、铁路两用桥附近。立在回雁峰,不仅可俯瞰大桥,还可纵观衡阳城全貌。回雁峰为南岳七十二峰之首。古人一直认为,北来的大雁南飞至此处便不再南飞了,只等来年春天再飞回北方,故名。杜甫就写过“万里衡阳雁,今年又北归”。
回雁峰的山门是一座石砌牌坊,过山门不远后有半山亭,再往上走,越过“百步云梯”后就可到达顶峰,峰顶有雁峰寺。据史籍记载,这座寺庙建于南北朝时期,梁武帝时称乘云寺,唐以后改称雁峰寺,它与花药寺、西禅寺、罗汉寺并称为衡阳佛教禅宗四大寺院,历代有不少高僧都曾来此参禅。在回雁峰还流传着一位古代歌妓的故事。唐德宗光启年间,一个叫王幼玉的歌妓住在回雁峰下,她有着艳丽的容貌和高雅的气韵,她唱的《雁归来》被人赞为“秋满潇湘浦,歌徹回雁峰。”后来她与一位叫姓柳的青年富商相爱,其间经历了很多波折,两人虽然矢志不渝却仍天各一方。一天又一天,王幼玉登上回雁峰,一边唱着柳郎写给她的诗一边等待她的心上人回来,大雁听到她的歌声徘徊不肯离去。她就这样唱呵唱,直到力尽坠下山崖。
这个凄婉的故事为回雁峰更增添了几分伤感的美丽。