来雁塔，守护着湘、耒、蒸三江水口，是关系衡阳一城文脉、财运的龙脉重地。

    来雁塔建于明万历年间（公元1591年），塔分七级八面，高36米，底长7.3米，是当时的礼部尚书曾朝节（衡阳人）倡导修建，其目的就是为了守住衡阳一郡的文运、财运。后历经400余年，几经兴废。现在的来雁塔是清末同治10年（公元1871年）重建而成，门前“来雁塔”三字由兵部尚书彭玉麟所书。建国后1989年进行了修缮。                                                      

    来雁塔至石鼓书院这一带，过去是风景秀丽、环境清幽。石鼓书院号称“一郡佳处”（出自朱熹），而清代以前这一带也是一城风景秀美之地。唐宋时期，失意文人、南谪官员行至此处，留念此地风物，不愿跨过青草桥（青草桥，也称韩桥，谓昌黎公过而始建者。）一步如隔世，他们大多舍不得离开，便留下结庐为书斋或书院（如石鼓书院、濂溪书院等）以避世。也有隐居山林,修禅悟道的,明代时期，这一方寸之地就有绿竹、华严、松萝、东林、清泉等八座寺庵。“八庵连结，俱幽静明洁”。还有许多人呼酒买醉、结集成市，形成了“青草桥头酒百家”的胜景。朱熹的“人说衡州门外泊船处，风物令人愁，未知信否……潇湘门外水如天，说著令人意惨然。”说的就应是此地此景了。

    明代，这里也是桂王府别院，称桂花园，又称庆桂堂，院内曾有桂花三株——“皆耸干参天，接荫蔽日”；其北面有宝珠茶五株，虽不及桂树之高大，亦郁森殊匹；东面为桃花源（现名桃花村，在衡阳电厂附近）；南有两亭“一曰停云，又曰望江；一曰望湖”。"登塔四眺，惟衡岳最高，其次雨母山，又次西北大海岭，其余皆冈陇高下，无甚峥嵘，而东南二方，固豁然无际矣。湘水自回雁被注城东，至石鼓合蒸水遂东转，经塔下，东合耒水北去，三水曲折，不及长江一望无尽，而纡回殊足恋也"。这是明代著名地理学家徐霞客在《徐霞客游记.楚地游记》中的描述。