谢向荣的祖父就是给谢时开蒙的老师，他是个疏朗开阔的文人，虽然惋惜没有孙子，却并不执迷于此，还反过来劝说儿子和儿媳，认为这是缘分。
“你们没有儿子，是因为缘分未至，孩子是上苍的恩赐，你们既有了大娘，不如好好教养她，不也有做父母的乐趣吗？”
可惜他儿子儿媳不认命，一直折腾着想要一个儿子。
谢老先生就把孙女带在身边，孙女说，“我做梦了，梦见自己应该着男装，叫向荣，这样或许弟弟就来了。”
于是谢老先生就给她改名叫向荣。
孙女说，“弟弟可能不喜欢阳夏的风水，听闻琅琊人杰地灵，阿爹阿娘若去琅琊居住，说不定能引来灵童。”
于是他们一家就跟着被征辟到琅琊的谢老先生一起搬到了琅琊。
等战火四起，谢老先生忧愤之下病逝，谢向荣又说，“祖父半生漂泊，此时落叶当归根，这才是最重的孝道。”
于是本来想向南逃亡的父母不得不跟着她一起扶棺回乡，他们幸运的躲开了路上的匈奴大军，跟着一群流亡的难民到了阳夏，迅速联系上谢时的亲眷，被他们庇护起来，躲过了那一场兵祸。
然后谢向荣开始为祖父守孝，以守孝为名拒绝了许多亲事，去年年中出孝，谢家父母要给她说亲，她就反过来劝父母，认为他们正当年，还有希望为谢家绵延子嗣。
“我若重孝，或许上苍怜悯，能为父亲和母亲送来一个儿子，”以此为由居家为祖父继续守孝，“别人守三年，我就守六年，十二年，我相信，女儿的孝心一定能感动上苍，为父母赐下麟儿。”
她的父母被说服了，于是拒绝亲事，让谢向荣居家守孝。
但谢时说，“名为守孝，其实她是在整理叔祖的文稿和注释，想要学孔子学生为孔子著书留言之举。”
这是一项庞大的工程，谢老先生这一生读过那么多书，留下那么多注解，不同时期的感悟还有所不同，写的随笔丢得到处都是。
她要整理出来，再一一对比选择，然后为书注释，有的词句没有注释，她就回忆祖父教学时的言语，假以他的语言去注释，有时候还要写信给谢时、王臬这些师兄弟，求问他们读书时的笔记……
她在孝期就开始做这事了，只是这不是一日之功，要做好，可能需要八九年，甚至更长的时间。
谢时敬佩她的韧劲和心性，和赵含章道：“她博学多识，又机变聪慧，重孝却能守义，最合适二郎不过。”