隋代末年，隋王朝的统治日趋腐朽残暴，它横征暴敛，荒淫无道，刑罚酷烈，兵役苛繁，结果民不聊生，矛盾激化，最终导致爆发了轰轰烈烈的农民大起义。到公元617年初，农民起义形成了三大起义军中心，李密瓦岗军转战于河南地区，窦建德起义军活跃于河北一带，杜伏威起义军崛起于江淮地区。他们前仆后继、英勇斗争，歼灭了大批隋军，使隋王朝统治濒临于彻底崩溃的边缘。在农民起义风起云涌的形势下，一些贵族和地方官吏也抱着各种政治目的，纷纷起兵反隋，李渊父子的太原起兵就是其中之一。
公元617年春夏之交，隋太原留守李渊、李世民父子在太原（今山西太原东南）起兵。李渊父子是富有政治远见和军事才能的封建贵族官僚，起兵之后，实施争取人心的政治、经济措施，掌握了政治上的主动；并采取高明的战略方针和卓越的作战指导，在军事方面不断取得重大进展。在短短的半年时间里，他们即攻下隋都长安，占据了关中和河东广大地区，并迅速拓地到秦、晋、蜀等广大地区，成为当时社会上一支举足轻重的力量。公元618年，李渊在长安正式称帝，建国号唐。尔后又经过一段时间的东攻西讨、南征北伐，先后消灭了薛举、梁师都、刘武周等地方武装割据势力，旋即引兵东向，伺机统一全国。
当时，李密所领导的瓦岗起义军已经解体，李唐政权的主要对手是河北地区的窦建德起义军和洛阳王世充集团。另外还有杜伏威起义军活动于江淮地区，隋朝残余势力萧铣集团控制长江中游及粤、桂等地。李渊集团对此采取了远交近攻、先王后窦、各个击破的战略方针：在派遣使者暂时稳住窦建德的同时，由李世民统率唐军精锐主力进攻东都洛阳，首先消灭王世充集团。李世民大军在洛阳城下与王世充军进行了历时半年的激烈交战，给王世充军以重创，拔除了洛阳城外王世充军的据点，形成了对洛阳城的包围。王世充困守孤城，粮尽矢绝，处境危急，遂连连遣使向窦建德告急求援。
窦建德充分意识到王世充若被消灭，那么唐军的下一个进攻目标就会轮到自己身上。“唇亡齿寒”，岂能隔岸观火，坐视不救。决定先联合王世充击唐，然后相机消灭王世充，再进而夺取天下。于是他在兼并了山东地区的孟海公起义军之后，于公元621年春，亲率十余万兵马西援洛阳。窦军连下管州（今河南郑州）、荥阳、阳翟（今河南禹州市）等地，很快进抵虎牢以东的东原一带（即东广武，河南荥阳东北广武山）。
虎牢为洛阳东面的战略要地。早在武德四年二月三十日夜，唐军王君廓部就在内应的协助下，先行袭占该地。李世民在洛阳坚城未下，窦军骤至的形势面前，于青城宫召集前线指挥会议，商讨破敌之策。会上大多数唐军将领主张暂先退兵以避敌锋，但唐宋州（治所在今河南商丘南）刺史郭孝恪、记室薛收等人却反对这么做。
他们认为，王世充据有洛阳坚城，兵卒善战，其困难在于粮草匮乏；窦建德远来增援，兵多势众。如果让王、窦联手合兵，窦以河北粮草供王，就会给唐军造成严重不利，使李唐的统一事业受挫。因此，主张在分兵围困洛阳孤城的同时，由唐军主力扼守虎牢，阻止窦军的西进，先消灭窦建德军，届时洛阳城就能不攻自下。李世民采纳了这一建议，立即将唐军一分为二，令李元吉、屈突通等将继续围攻洛阳；自己则率精兵3500人，于三月二十四日先期出发，进据虎牢。
李世民抵达虎牢的次日，即率精骑500东出10公里侦察窦建德军的情况。他派遣李世积、秦叔宝、程知节等率兵埋伏道旁，自己与尉迟敬德等仅数骑向窦建德军营前进。在距窦军军营1．5公里地处，李世民有意暴露自己，引诱窦建德出动骑兵追击。待窦骑兵进入预先设伏地点之后，李世积等及时发起袭击，击败窦军追兵，歼敌三百余人。这次小战挫抑了窦军的锋芒，对窦军的虚实有了了解。
窦军被阻于虎牢东月余，不得西进，几次小战又都失利，士气开始低落。四月间，窦军的粮道被唐军抄袭，大将张青特被俘，这使得窦军的处境更为不利。此时，国子祭酒凌敬劝谏窦建德改变作战计划：率主力渡黄河，攻取怀州、河阳，再翻越太行山，入上党，攻占汾阳、太原，下蒲津（今山西永济西）。指出这样做有三利：入无人之境，取胜可以万全；拓地收众，增强实力；震骇关中，迫使唐军回师援救，以解洛阳之围。窦建德认为其言有道理，准备采纳，但苦于王世充频频遣使告急，部将又多受王世充使者的贿赂，主张直接救洛，终于搁置了凌敬的合理建议，而与唐军胶着于虎牢一线，越来越陷入被动。
不久，李世民得到情报，说窦军企图乘唐军饲料用尽，到河北岸牧马的机会，袭击虎牢。李世民将计就计，遂率兵一部过河，南临广武，在观察了窦军情况后，故意留马千余匹在河渚，以诱窦建德军出战。次日，窦军果然中计，出动全军，在汜水东岸布阵。北依大河，南连鹊山，正面宽达十多公里，摆出一副进攻的架势。李世民正确地分析了形势，指出窦军没有经历过大战，今度险而进，逼城而阵，有轻视唐军之意。我军可按兵不动，等待窦军疲惫之后，再行出击，以一举克敌制胜。于是他一面严阵以待，使窦军无隙可乘；一面派人召回留在河（黄河）北的诱兵，准备出击。
窦建德轻视唐军，仅遣300骑过汜水向唐军挑战，李世民派部将王君廓率长矛兵200出战。两军往来冲击交锋数次，未分胜负，各自退回本阵。战斗呈现胶着状态。
窦建德沿汜水列阵，自辰时直至午时，士卒饥饿疲乏，支撑不住，都一屁股坐倒在地上，士卒间又争着喝水，秩序一片混乱，表现出要返回军营的意向。李世民细心观察到这些迹象后，即派遣宇文士及率领300精骑经窦军阵西而来，先行试阵。并且指示说：如窦军严整不动，即回军返阵：如其阵势有动，则可引兵继续东进。宇文士及至窦军阵前，窦军的阵势即开始动摇。李世民见状，当机立断，下令出战，并亲率骑兵先出，主力继进。过汜水后，直扑窦建德的统帅部。
当时窦建德正欲召集群臣议事，唐军骤然而至，群臣均惊恐失措，纷纷向窦建德处走避，致使奉调抵抗唐兵的战骑通道被阻塞。窦建德急忙下令群臣闪开为骑兵让路，但是为时已晚，唐军已经冲入。窦建德被迫向东撤退，为唐军窦抗部所紧追不舍。接着李世民所率精骑也突入窦军大营，双方展开激战。李世民又命秦叔宝、程知节、宇文歆等部迂回窦军的后路，分割窦军。窦军见大势已去，遂惊慌溃逃。唐军乘胜追击15公里，俘获窦军五万余人。窦建德本人也负伤坠马被俘，其余军卒大部溃散，仅窦建德之妻率数百骑仓皇逃回河北。至此，窦军被全部歼灭。
