在这种情况下，黄斌卿的水军更是别想得到郑芝龙的支持，所以黄斌卿占据舟山之后，一直在拼命的扩充实力。
就在这种情况下，鲁王被博洛打败，遭受了一次绍兴之败。
鲁王原计划从陆路撤往台州，从台州前往舟山，只不过中间朱弘栋突然冒起，把鲁王带到了金华。
而王之仁当时并不知道鲁王中途改了方向，仍然按照原计划率军前往舟山。
此时王之仁带领着一百多艘船，船上满载着淄重，这些都是鲁王再次起家的本钱。
到了舟山之后，王之仁得到黄斌卿的热情款待，黄斌卿信誓旦旦的答应王之仁，要与他一同反攻杭州。
结果在船上黄斌卿突然发难，将王之仁的船只大部分抢走。
本来监国鲁王朝廷刚刚遭受清军的攻击，经历了一次大败，身后的友军还趁机捅刀子，这让王之仁恨之入骨，却又对复明的大业彻底失去了信心。
王之仁的信心不是突然失去的，本来王之仁已经投降清军，后来清军发布了剃发令，各处民众奋起反抗，浙江很多地方民众主动站出来驱逐了清军的官吏。
就是在这种情况下，王之仁受周围的义军影响决定起事抗清。
起事之后，王之仁与方国安先后两次进攻杭州，全都以失败告终，方国安甚至在杭州城下丢掉了自己儿子的性命。
估计也就是因为这两次失败，让方国安失去了信心，为以后背叛埋一下了祸根。
连续两次失败让监国鲁王朝廷彻底失去了进攻的动力，从鲁王以下文恬武嬉朝政混乱，估计这种情况对于王之仁打击不小。
随后又发生绍兴大败，失败是情有可原的，毕竟明军从北京一路败退过长江，败退过钱塘江，王之仁应该对明军再次败退有心理准备。
但是这次绍兴大败尤其令人气愤，因为方国安手握十万大军，压根没有进行抵抗，直接望风而逃，全军大溃，把好好的浙江抗清大局一次葬送。
很可能是因为这一连串的打击，让王之仁彻底对抗清复明失去了信心。
王之仁将家属乘坐的大船亲自凿沉，全家老少九十三口全部溺海而亡。
随后王之仁只留下一条大船，大张旗鼓，直驶吴淞江口。
当地清军以为他是前来投降的明朝高官，迎接款待，将其送到松江府。
吴淞总兵不敢怠慢，立即又将他送到南京。
王之仁穿蟒衣，乘大轿，气宇轩昂，直入南都。