晚清时期，太平天国运动爆发，清庭直属的八旗兵和绿营兵早已羸弱不堪，难以担当镇压起义的重任。于是在朝廷的授意之下，地方巡抚、总督们纷纷招募乡勇、组建团练。曾国藩的湘军就是在这个背景下建立的。

后来，在曾国藩的指示之下，李鸿章又招募了淮勇边练了一直地方团练，因其兵源以及主要将领大多来自于安徽江淮一带，故而称之为淮军。淮军组建之初，即是为了前往江苏一带阻击太平军的。1861年太平军向上海进发之后，上海的守备清军难以抵抗，而外援英军亦未能赶到。于是淮军乘坐英国轮船，渡江穿过太平天国辖区后直抵上海，并与英、美等国组建的常胜军等洋枪队合作对抗太平军。

当时淮军一共有14个营，除却留驻池州的“济”字营外，其余13个营约莫九千多人均抵达上海。这些来到上海街头的淮军将士们，因为刚刚成军不久，许多人衣着和武器过分简陋，被人们嘲笑为“叫花子兵”。

不过淮军的实力远非上海守备清军可以比拟，在同太平军连接打了三次恶战之后，太平天国在上海的势头被成功遏制住了。这也促使中外各路人马对淮军刮目相看，开始渐渐重视起来这一支新兴的劲旅。

同曾国藩重视宗族纽带、左宗棠重视战术战法和行军规章不同，李鸿章更为看重军械战备的优势。在得到了上海乡绅集团的支持之后，李鸿章购入大量洋枪洋炮，对渐渐壮大起来的淮军进行武装改良，并重金聘请西洋教习依据西式军队制度进行训练，促使一直风格与当时其他中国军队迥异的新式军队出现了。

新式淮军在李鸿章的率领下和左宗棠的楚军一起，开展了剿灭北方捻军起义的行动。在平定了太平军和捻军之后，作为清朝实力最强的几支武装力量，李鸿章、左宗棠等均被朝廷委以重任。而李鸿章更是因此做了25年之久的直隶总督兼北洋通商大臣。

只是不同于楚军依托军制规章治理军队，淮军虽然武器精良，但纪律涣散，已经到了腐败深入骨髓的地步。1868年，左宗棠在进入甘陕一带准备平定教众祸患之时，特意上奏朝廷，明言“淮皖诸军皆新立功，其将领皆富贵矣”。意思是说淮军将士大多军纪涣散，将领们不择手段的聚敛财富，进而导致淮军将领几乎都是富贵之人。故而左宗棠宁愿自己重新在安徽、河南等地招募乡勇补充到楚军中去。

将领们的贪婪和军纪的散漫导致淮军遇弱则强，遇强则弱。其战斗力水平几乎全凭武器致胜。因此在一系列外战中，经常出现将领们逃跑避战的情形，导致战事一败涂地。

等到中日甲午海战之后，清朝开始加紧训练新式军队，并准备推广换代到全国区域。因此淮军的作用开始越来越小了，在一些地方甚至已经开始沦落成为驻防据点的巡防队伍，不再如同建军之处那样承担拱卫防务的任务了。

在改制新军的风潮中，淮军仅有在甲午战争中表现突出的聂士成部队被依照德国军制编排成为武毅军。后来武毅军被并入清廷打造的武卫军一部分，担任前军重任。只是在1900年八国联军侵华时，武卫前军与侵略者英勇作战，但是伤亡惨重。

等到新军崛起并被大规模推广之后，淮军已经淡出了历史的舞台。