冯嬷嬷是知道此事的，除了陪着一起哭，骂李家老太爷不是人之外，又给杜氏出主意。
不能一直待在这是非之地啊。而且杜氏前两年是生了一个女儿的，现下她被送到了这尼姑庵里来‘静修’，女儿怎么办？李家老太爷那样攀高踩低的人，就算是亲孙女，他会真心爱惜？于是冯嬷嬷的意思，就是让人回李家去报信，只说杜氏腹中这孩子是她丈夫李修松的，杜氏到了这尼姑庵里之后才发现自己有了身子。现下庵中清贫，杜氏有了身子，李家老太爷就算不看在杜氏的面上，那看在她腹中这个孩子的份上也会接她回府的。而只要她回去，那就一切都好办了。
杜氏思女心切，而且确实也想离开这是非之地，所以便依着冯嬷嬷的话做了。
但李家老太爷接到这个消息，原本是不想让杜氏回来的。
杜氏之父被流放他也是或多或少的参与了其中。而且现下那位权臣风头正盛，他正千方百计的要巴结，这时候接了杜氏回来，虽说杜氏是出嫁之女，与杜家没什么关系了，但那个权臣原也不是个心胸豁达之人，不然不至于杜御史一家被流放了他还不放过他们，暗中让人结果了他们的性命。要是这时候将杜氏接了回来，让那位权臣晓得了，随便在后面搞搞小动作就够他受的了。所以李家老太爷总是不同意，只说让杜氏自行在庵中生了那个孩子下来。且那孩子生了下来就送人，不能说是他李家的子孙。
李老太爷当时是这样想的。这孩子虽然说有他李家的血脉，但也有杜家的血脉啊。一来是怕被那权臣在意，从而给李家招祸，而这二来，杜御史的事也是与他有关的，保不齐这孩子往后大了长歪了，起了心思要给他外祖父平反报仇什么的，到时怎么办？
但架不住当时李修松在门外跪了三天三夜，最后李老太爷也只能松口说接杜氏回来。只是又提了个条件，那就是杜氏纵然被接回来了，也只能藏在花园中的某处幽静所在，对外只说她死了。随后她生下来的孩子也只能说是通房丫鬟生的。
李修松是个懦弱愚孝的人。所以纵然是他心中对自己的这个结发妻子再深情，可也扛不住自己父亲的威压，最后他也只得痛苦的答应了。
于是杜氏被接回来之后就被幽禁到了李家花园的一处幽僻所在。在那里她十月怀胎生下了李惟元。自然李惟元被生下来之后就被人抱走了，对外说是李修松的一个通房丫鬟所生。
而也巧了，李惟元生下来的那一刻，原本一直身体很好的李老太爷走路的时候被石头给绊了一下，仰面摔到地上，