，河上建起两座石桥，一为石拱桥，一为石墩桥。河内水流，自东流向南，经石墩“风雨桥”，汇集于正门口的“涵碧”鱼池，再从南流向北，交汇于后院花园的“濯缨”荷塘，经石拱“岫云桥”，又直北流向东，循环往复，活水潺潺。
宅第依山而建，后有靠背山“卧龙岭”，傍水而筑，前有蓄水池“龙珠潭”，四周高墙耸立，三面内河护宅，典型的南方建筑，一个大门关百户，打开角门四通八达，关起耳门，自成一家。其高高的门檐，宽敞的厅堂，雕花的窗棂，高大的梁柱，组成了一个古色古香，优雅清净，幽静封闭的世界。若是登高俯视，其雄浑壮阔气派，由“滚龙垛”（俗称猫拱式山墙）得以呈现，一字排开的十二个黑瓦屋脊，连成一片，拱背码排成一行竖字，山墙并列成一条直线，犹如青龙欲欲腾飞。
其门庭上方，嵌着汉白玉雕刻的“大夫第”圣匾。门额之圣匾，脱胎于光绪皇帝的圣旨，是一种高贵身份的标榜，是一个显赫家庭的炫耀。大夫第，顾名思义，是古代士大夫的府第，一般指文职官员的私邸，就是封建皇朝的学子，读书中榜，获得进士功名，学优入仕，晋升士夫夫，辞官归故里后，在乡村为自己营筑的民居豪宅，不是平民百姓的土垒草庐。
据族谱记载，大夫第的宅主，是前朝清代的士大夫，且祖孙三代都进士及第，尤其第二代谢兴潘，则是受朝廷皇封的四品朝议大夫。学子考中进士，留在京城可入翰林院，外放为官，起码是个七品知县。进士是七品，大夫是四品，品阶相当于知府，待遇等同于省部级。俗话说，富贵不过三代，不管是事业，还是家产，无外乎祖辈奠定基础，父辈扩展拓宽，孙辈守成保全，因此承上启下的第二代最重要，是关健，倘若教育无方，宠犊溺爱，沦为纨绔子弟，骄娇奢逸，则功成不足，败家有余。谢兴潘以进士入仕，于咸丰六年，放任江西萍乡知县。
曾国藩在江西练兵期间，按照清政府全国一盘棋的调度方针，战事后方的地方与部门，有为前线筹集战饷的义务。江西巡抚不是没筹集，一是筹朝不力，二是筹集之后，总找机会又克扣回去。此举，是地方与部门的本土主义思想作梗，地方保护观念作崇。原本在江西战场，朝庭既要马儿跑得快，又不给马儿吃草，既要曾国藩打胜仗，又不给调动兵权，弄得他左支右绌，满肚子怨气。地方官吏却又以私情乡利，误国事害公众，曾国藩便撕破脸皮，给朝庭参了一本，将巡抚大人拉下马。
谢兴潘在征税与缴粮方面给予全力配合，经曾国藩极力举荐，受到朝廷