代王杨侑驻守的长安，其他的地区已是不足李渊所虑。
在围攻河东的屈突通时，李渊集团内部又出现了不同的意见，裴寂等人主张先拿下河东的屈突通，为下步围攻长安解除后顾之忧。而李世民则认为长安隋军无勇无谋，唐军主力应直捣黄龙，进攻长安，回头再收拾屈突通。
其实这两方的意见都是有利有弊，只是裴寂的想法比较老成保守，而李世民的主张则是激进的。李渊在综合考虑之后，决定两方的意见均采纳。分兵两部，留下一部继续围困河东屈突通的隋军。另一部则由自已亲自率领，从龙门渡过黄河，进逼长安。
就在李渊起兵反隋的同时，他的部分亲属在隋帝国的中心地带长安地区，也搞起了事情。李渊的女儿李氏是个不爱红妆爱武装的女人，这个女人充分诠释了虎父无犬女。李氏的老公柴绍在李渊起兵时，跟着李建成和李元吉一起逃到了太原，李氏却没有跟着柴绍等人逃走。
李氏不但没有逃跑，还搞出了很大的事情。柴绍走后，李氏回到鄠县，把自已的家财全部散尽，聚集了一些不要命的强人。李渊的堂弟李神通从长安逃到鄠县，拉拢长安的大侠史万宝等人起兵响应李渊。还有一个胡人何潘进，跑到司竹园那地方做盗贼，聚集了好几万人。
李氏就把这些人组织起来，打下了鄠县，实力也是迅速壮大，隋军几次征讨都被李氏打败。李氏接着扩大战果，把附近的盩厔、武功、始平等县都占领了，兵力达到七万多人。
李渊的另一个女婿段纶，在蓝田也聚集了一万多人起兵反隋，响应李渊。
李渊进袭长安的大军又分作二路，其中李建成带领一路经过朝邑，进占永丰仓，据守潼关，这样就切断了长安与洛阳间的联系，接着李建成部进至灞上，从东面威胁长安。。
另一路由李世民带队，自郃阳、澄城、蔳城进至泾阳，自北面进逼长安。李世民派刘弘基率军攻下扶风，随即南渡渭水，占领长安故城。李氏、段纶、李神通均归附李世民。一路上，隋朝的官吏和地方豪杰群盗如潮水般投靠李世民。到得围攻长安之时，仅李世民的军队就有十三万人，唐军总数已超二十万人。
至此，二十万唐军完成了对长安的合围，隋帝国的都城现在已是李渊的囊中之物。