然而，关中是隋朝的重地，以区区太原的兵力，怎么能够占据长安呢？不过天赐良机，这时隋军的精锐部队都在前线镇压农民起义，关中兵力空虚，因此，李渊采纳了刘文静的建议，准备出兵关中，直捣长安。

大业十三年即公元617年，李渊以“潜引突厥入寇”为借口，将隋炀帝派来监视自己的太原副留守高君雅、王威二人处死，并正式起兵反隋！

此时，南巡中的隋炀帝，已被农民军遏阻于江都不能返回，真正在长安发号施令的是他的孙子，年仅十三岁的代王杨侑。

李渊军行至贾胡堡时，杨侑派遣虎牙郎将宋老生率精兵两万，屯于霍邑，又命左武侯大将军屈突通统帅数万军屯于河东，以阻止李渊军南下。

他先以轻骑挑战屯兵坚守的宋老生部，宋老生统兵出击，李渊的长子李建成和次子李世民，率兵绕至宋老生军后，断其归路，李渊又命人高呼“以斩宋老生”，宋军大溃，李渊乘胜攻克霍邑。

虽然首战告捷，但更大的问题摆在李渊面前，河东的屈突通部据守城池，牢固设防、坚守不出，李渊的军队是久攻不下，该怎么办呢？众将士各持己见，最后，李渊决定自己与李建成李世民等率大军直捣长安，留下刘文静等人继续围攻河东。

当李渊大军进入关中时，深受隋朝暴政之害的关中官吏、民众纷纷响应，长安守军溃散，李渊进入长安的时候，杨广还活着，天下局势未定，进入长安的李渊并没有立刻称帝，而是将隋炀帝杨广的孙子代王杨侑立为皇帝，尊杨广为太上皇，李渊自封为丞相，总览军政大权。

公元618年，隋炀帝死于江都的兵变当中，消息传到长安，李渊废掉杨侑的帝位，自立为帝，改国号为唐，改年号为武德，李渊就是唐高祖。

李渊称帝以后，唐朝仅占有关中地区，地方割据纷争不断，为了统一天下，李渊派次子李世民领导了七年的统一战争。

李世民首先进行了平定陇右，讨伐薛举、薛仁杲的战争，这是唐初统一战争的第一次大战役，实质是双方争夺关中王之争。李世民亲自挂帅出征。从617年11月开始到618年底，双方经过近一年的战争，最后迫使薛仁果投降。这场战争的胜利，解除了唐王朝来自西北方面的威胁，消灭了争夺关中的对手，使关中为唐统治。接着发动了平定河东对刘武周的战争。从619年11月出征，到第二年4月大获全胜，收复了太原、并州、汾阳旧地。在李世民统一战争中，取得第三个辉煌胜利的是平定河朔。619年，隋将王世充篡夺帝位，自称皇帝，国号为郑，改元开明。发兵入侵河南等地，扩大势力。但是，王世充政权内部矛盾重重，将领秦叔宝、程知节等人先后降唐。李世民又亲自领兵进行荡平王世充割据势力的战争。到621年2月，王世充紧闭洛阳城门不敢出战，双方相持不下，此时王世充向河北的窦建德求援。窦建德自称夏王，在河北、山东一带人多势重，为了农民军自身的利益，窦建德同意了王世充的求援，率兵南下，以救洛阳。621年4月，虎牢之战，击溃了窦建德军队，王世充被迫投降。至此，唐朝统一战争取得了决定性胜利。平定刘黑闼战争，是李世民在唐初统一战争中的最后一战。621年7月，刘黑闼起兵反唐。经过李世民的军事打击和太子李建成按魏征建议采取安抚政策，争取人心，安定社会，刘黑闼部众终于溃散，后来刘黑闼被杀。从617年到624年，七年的统一战争期间，李世民指挥若定，剪灭群雄，为巩固封建王权政治的繁荣和发展奠定了坚实的基础，实现了唐朝的统一天下。

李建成向李渊建议由李元吉做统帅出征突厥，借此要把握住秦王的兵马，然后趁机除掉李世民。李世民在危急时刻决定背水一战，先发制人。

李世民向李渊告发了李建成和李元吉的阴谋，李渊决定次日询问二人。李建成获知阴谋败露，决定先入皇宫，逼李渊表态。在宫城北门玄武门执行禁卫总领常何本是太子亲信，却被李世民策反。武德九年六月初，秦王亲自带100多人埋伏在玄武门内。李建成和李元吉一同入朝，待走到临湖殿，发觉不对头，急忙拔马往回跑。

李世民带领伏兵从后面喊杀而来。李元吉情急之下向李世民连射三箭，无一射中。李世民一箭就射死李建成，尉迟恭也射死李元吉。东宫的部将得到消息前来报仇，和秦王的部队在玄武门外发生激烈战斗，尉迟敬德将二人的头割下示众，李建成的兵马才不得已散去。

唐高祖李渊知道此事后，十分震惊!但也没有任何办法，眼下只有这么一个儿子了，而且兵权还在其手里。因此，不得不立李世民为皇太子。两个月后，自责和无奈中的李渊，将皇位让给了次子李世民。