同治三年（公元1864年）六月，湘军攻破天京。虽然此时太平军在各地还有不少部队，不过这还是标志着太平天国运动已经失败。而就在此时，曾国藩决定开始裁撤湘军。
七月十三日，曾国藩首先裁撤了萧庆衍、梁美材、韦志俊等部十几营湘军，开始了裁撤湘军的序幕。到十月，在南京的湘军已经陆续裁撤了两万五千多人，大约五十营士兵。十二月时曾国藩又决定将吉字营的二十八营湘军进行裁撤，这么一来在南京的湘军大部分就被裁撤了。
曾国藩裁撤湘军的原因是多方面的：
首先曾国藩裁撤湘军有避嫌的打算。
太平天国起义爆发以后，因为此时的八旗和绿营都已经糜烂不堪，对上太平军是屡战屡败，根本没有一战之力。另一方面清政府的财政紧张，也无力维持镇压太平军的军费开支。无奈之下，清政府只能允许要地地方督抚和士绅编练团练，和太平军抗衡。
曾国藩就是在这种情况下编练了湘军，此后在湘军的基础上又产生了李鸿章的淮军、左宗棠的楚军等等。湘军、淮军和楚军虽然还算不上近代陆军，不过和八旗、绿营相比战斗力还是提升了不少，最终镇压了太平天国运动。
然而清廷允许地方兴办团练只是权宜之计。团练毕竟是各地官绅自己编练的部队，严格意义上不属于清政府的正规军，也不受清政府的管辖。而且大部分团练武装是掌握在汉人大臣手里，这就让清廷颇为忌惮了。
曾国藩的湘军鼎盛时有十二到二十万人，是此时国内最大的一个军事集团。在太平天国失败以后，如果他继续维持这么大一个军事集团，势必让清廷寝食难安。曾国藩又不打算造反，自然要裁撤部队，显示自己没有异心。
其次财政上也不允许曾国藩继续维持这么大的一个军事集团。
清政府允许地方自己编练团练主要是因为财政紧张。所以编练团练的费用全部是当事人自己筹措。
曾国藩的湘军早期规模不大，主要靠地方士绅募捐。此后湘军规模越来越大，这开支也是与日俱增。好在此时曾国藩也步步高升成了封疆大吏，可以在地方上征收税款补助军费。加上湘军是剿灭太平军的主力，清廷也从帮忙筹集军费，这才勉强维持了下来。
不过这么一来地方上就倒霉了，各种苛捐杂税层出不穷。而一些地方官员更是因为给湘军协款而和曾国藩闹翻。
比如像曾国藩保荐的江西巡抚沈葆桢，后来就是因为觉得湘军索要款项太多，停了江西调拨给湘军的漕折银、洋税和厘金，惹得曾国藩大怒，两人因此绝交。
即使如此湘军也是欠饷严重，就在攻打天京的时候，曾国藩就在一封信里提到湘军现在只能发四成军饷，欠饷已长达十六七个月。由此可见曾国藩财政的窘迫。
在这种情况下，攻破天京以后曾国藩立刻忙着裁军也就可以理解了。
而李鸿章在平定捻军之乱以后，也裁撤了部分淮军。有趣的是，此时清政府却因为八旗、绿营糜烂不堪，不得不倚重练勇对付各地出现的农民起义，因此反而有意保留部分练勇。因此在晚清后期，湘军、淮军、楚军存在了很长时间，直到甲午战争以后才逐步因为新军的出现而被淘汰。
