传说唐代风水大师杨筠松路过衡阳，也为这里的风水形势所吸引，遂停留数日，倍赞此地风水格局极佳。
回雁峰在衡阳城的风水格局中具有非常重要的地位。
由于回雁峰是南岳的首峰，因此南岳宗教界人士对回雁峰高度重视，认为它关系到全体衡阳人的利弊兴衰，于是特意在回雁峰上修建了重在保护衡阳城风水的寺庙——雁峰寺，而雁峰寺遂成名寺，日日香火旺盛。
在传统的风水景观体系中有一个基本的模式，它由一系列要素组成，使用的也是专门术语，其中一个为“水口”。
它是指城市前方河流出入之处，通常特指去水之地。
在风水中，水口被认为是关系到一个城市人才的多寡和财富积累的多少的重要关口，必须采取特殊的措施加以“关锁”和“镇守”。
这一手法在衡阳城的风水景观中表现得尤为突出。
衡阳城为锁住风水，先后形成了三道“水口”。
第一道“水口”位于城市北部蒸水汇入湘江的石鼓山地带。
石鼓山自西而东伸延于江中，东南北三面临水，形若半岛。
关于石鼓山的得名，一说山体形状像一只鼓，一说浪击石崖若鼓鸣。
晋代庾仲初在《观石鼓诗》中说：“鸣石含潜响，雷骇震九天”，就是指二水交汇的巨浪，拍打着石鼓山崖壁，发出击鼓般的声音，非同凡响。
石鼓山是一个登高远眺的好地方，为锁风水，加强镇守作用，特别在半岛上建有观景亭等建筑，并建有类似文昌阁的书院建筑。
相传诸葛亮在前往零陵等地督察军务时曾在此居住。
唐元和年间，衡阳人李宽在山上筑庐读书。
北宋景佑三年，钦赐匾额“石鼓书院”，使石鼓书院与睢阳、岳麓、白鹿洞齐名，并很快发展为当时全国著名的四大书院之一。
朱熹、张轼、王船山等著名学者均来此讲学，石鼓书院一时名声鹊起。
许多人解释为这里之所以文运昌盛、人才辈出，与镇守水口的做法密不可分。而“石鼓江山锦绣华”，也成为“衡阳八景”之一。
第二道“水口”位于城市北部蒸水汇入湘江的河流西岸的合江套三汲矶上，与石鼓山遥相对峙。
为强化“出水口”的镇水功能，巩固衡阳城的风水，明代有人在此修建了一座宝塔，名叫“来雁塔”，此塔系楼阁式砖石塔，坐北朝南，七级八楞，通高36米。