到了六品的昭武校尉、岳州司马。但是，虞荒随着军中地位的奠定，加之五年中极少回家与杨飘雪相会，就在岳州找了相好秦稻秧，随即纳为妾。更加很少回龙阳家中。
过了一年，秦稻秧为了获得专宠，将其哥哥秦馗从连州別驾调来岳州担任別驾。別驾在司马之上，属于五品男爵层级，一般担任此职的都是王子王孙，其他人担任此职，必然是被楚王特别信任的人。
虞荒彻底成为秦稻秧的专属，秦稻秧看虞荒勇猛无比，生怕他在外乱找相好，无法控制，一连帮助虞荒纳了四个妾，个个年龄能干，貌若天仙。
家中的杨飘雪被彻底冷落，虞荒偶尔回家看老母和儿女，总跟杨飘雪大吵大闹。
杨飘雪一气之下，进入元信宫成为女冠，加入道籍，请求离婚。虞荒顺水推舟，同意了离婚。叫秦稻秧也出家为女冠，入道籍，三年后还俗，成为虞荒的正妻。
可惜，虞荒这样抛弃杨飘雪，自然会遭报应。刚刚续娶了秦稻秧，就于一次剿匪中，被匪首毒箭射中面门，拔箭猛冲，斩杀匪首而毒发身亡。
秦稻秧丢下一儿一女，只身回了娘家，虞荒阵亡不到一年，就另嫁他人。
虞荒跟前两房正妻的三子两女和侍妾所生的五子三女，共计八子五女，从此成为虞荒老娘楚氏的负担。幸亏楚王念其战功巨大，表奏大梁天子大封楚国功臣，虞荒被追封为桥江侯，封地桥江县属于岳州管辖。母亲楚氏也获得封赏。
楚氏及管家、虞荒丢下的四个侍妾，带领一大家子，到桥江县建起侯府，看着一百户之封及二十顷赐田，生活还算无忧。
其长子虞神通，乃杨飘雪所生，现在已经十七岁，出落得一表人才，英武逼人。为了顶起一大家的重担，十五岁就进入楚王亲卫军中，成为一名亲勋翊卫，深得楚王喜欢。
说到这里，杨飘雪哭道：“次子虞神逵十五岁，已经能照顾自己，相信也会跟随哥哥投军。唯一发愁的是女儿虞神逍，才十一岁，可怎么办啊？”
既然成为自己的妾，杨飘雪的事情就是自己的事情，那还用说吗？将虞神逍收养过来呗。
当即与杨飘雪去了一趟桥江侯府，对老太太楚氏说明了来意。全保昌是杨飘雪的新夫，情愿收养虞神逍，让她跟随母亲成长。
楚氏是个深明大义的人，看了全保昌的情形，也是一代豪侠，当即请求让虞神逵也跟他娘一块走。叫孩子跟全保昌学习挣取富贵的本事。
一来是孩子可以跟随全保昌学习文韬武略