咸丰三年（1853年）起，曾国藩开始组建湘军。当时，清朝以汉兵为主的军队以营为单位，以绿旗为标志，故称绿营军。在组织湘军之前，曾国藩已对绿营军的风气有了极大的反感：绿营军士气低落、作风糜烂、军备松弛，表面上他们是朝廷的军队，实质上就是一群不入流的匪寇。
为了建立一支优秀的军队，在一开始招兵买马时，曾国藩就做了精心准备。他坚持要求将领要不怕死、不计名利、吃苦耐劳。在士兵管理方面，曾国藩坚持一支部队不得在两地招兵的原则，因为来自同一地方的士兵更容易沟通，便于管理。同时，曾国藩要求招收山间农民，因为农民都是做事实在的人，他们容易教化，上手更快。
无论怎样组建军队，无论采取什么措施，最终目标都是在战场上取得胜利。为了确保作战胜利，曾国藩制定了三条严格的军规。
第一条军规，将清晨起床时间与开饭时间提前。曾国藩经过仔细观察发现，湘军之所以会在早晨就战败，是因为太平军非常勤快。太平军每天凌晨三四点钟起床，五点开饭，黎明时分发起攻击。而湘军起床晚，所以会被对方打得措手不及。改革之后，湘军全部黎明之前起床，黎明时分操练。为了给士兵们一个适应过程，曾国藩暂时不改开饭时间，操练之后再吃饭。经过一段时间磨合后，吃饭时间被调整到操练之前进行。这项改革成功之后，湘军就再也没有在黎明时分吃过对方的亏了。
第二条军规，详细制定扎营标准。经过与太平军的数次战斗后，曾国藩发现了湘军的另一个弱点——营盘扎得不牢实，甚至可以说非常不专业。因此，曾国藩和幕僚经过日夜商讨，最终制定出营盘安扎标准。
曾国藩对每个将领严肃地申明，每到一地，必须要择地势高处扎营，而且要临近水源，两个要素缺一不可。他还要求，营垒建立之后，要在四周掘营壕，筑石墙。这是曾国藩应对战争的重要举措，因此他三令五申，要求将领和士兵严格执行，不能出半点儿差错。
第三条军规，实施“站墙子”制度，就是站在石墙上盯风放哨。湘军最高管理层研讨后规定：扎营完毕，在起床之后和傍晚掌灯这两个时段分兵三成站岗放哨；夜里派一成人站墙子；如果在非常时期，夜里“站墙子”的人就增加到两成。这样一来，敌军来袭，总有一部分武装在岗的士兵迎战，再加上内外营壕的科学布置，敌人就是有万军之师，也不能轻易攻破湘军的营盘。
通过建立以上三条军规，曾国藩为湘军的胜利打下了坚实的基础。此后他又制定了《营规二十二条》，这里面无所不包，从扎营、开仗到军械管理等都有严格的规定。
为确保各项军规不折不扣地贯彻执行，曾国藩时时在军中对将士们进行口头教育。在注重教育的同时，曾国藩更强化执行，严明执法。他在第一次实施新军规大会上就明确指出：“如果有敢不遵从法令者，格杀勿论。”随后的一次战役中，曾国藩麾下一位名叫金松玲的将领违反军规致使战败。金松玲是曾国藩父母的救命恩人，曾国藩平日对他敬重有加。然而，面对众位将领的苦苦求情，曾国藩动情地说：“尽管你有恩于我，但你现在违背了军法，我实在难以留你。”随后将他斩首于辕门之外。
从此，军中纪律更加严明，士兵们几乎做到了令行禁止。在以后的战斗中，曾国藩推行几乎苛刻的执行手段，新军规的实施让湘军一次次反败为胜。
