清朝承袭明制不设宰相，由八旗王公组成的议政王大臣会议为清代前期的主要决策机构，号称“国议”。
康熙帝在乾清宫西南角设立“南书房”，至此南书房逐渐成为康熙朝的中枢辅政机构。
雍正年间，雍正帝在平叛青海和硕特蒙古部落首领罗卜藏丹津后，又爆发了蒙古准葛尔部首领策妄阿拉布坦领导的叛乱。1729年雍正帝为彻底击败叛乱的西北蒙古各部，命怡亲王允祥、大学士张廷玉、户部尚书蒋廷锡在户部设立“军需房”，总管军需事务。后来又将军需房变为军机房，这是正式设立军机处的开始。
虽然雍正帝设立军机处的直接原因是为了应对西北军事的临时性需要，当时只限于处理军事机密事宜，不干预一般政务，待军务结束即撤消。然而在西北用兵结束后，因对其办事效率、保密性相当满意，雍正帝非但没有废止，反而使其成为常设机构，进一步扩大了权力并逐渐超越了内阁。
究其原因，清朝有感于明朝灭亡, 对朋党防范甚严，对统治乾纲独断、大权独揽。即使像康熙、雍正这样勤政的皇帝也不可能事事亲理。康熙帝晚年力不从心，一切以宽仁为尚，对政务多有懈怠。雍正帝皇权专制达到顶峰，既要不大权旁落，又要臣属协助认真工作，为此，在雍正八年以后，军机处开始作为一个正式的具有特殊功能的机构出现。
由于军机处在清代体制特殊，并非正式的官府衙门，所以军机大臣俗称“大军机”，或称“枢臣”，从满、汉大学士、尚书、侍郎、京堂总督中特简，或是由军机章京升任，没有固定名额，乾隆年间一般在6至8人, 道光以后通常为5至6人。这些军机大臣或者军机章京都有固定的实职，在军机处只是兼职而已，基本上满汉人各占一半。到军机处工作叫做“入军机”, 官衔称“军机处行走”或“军机大臣上行走”, 资历浅者则称“军机大臣上学习行走”。
军机处的主要工作，负责皇帝谕旨的撰拟及参与处理官员上报的奏折；承办某些重要政务、事务活动，如参与国家施政方略、军事谋略的制定, 重要文武官员的任免和考核, 某些重大案件的审理等；随侍皇帝左右, 待咨询、备顾问；其他交办事项。如充任钦差大臣前往各地检查或处理一些政务。另外, 惯例以军机大臣兼方略馆总裁和内翻书房管理大臣。方略馆为编纂重大军事和政治事件资料的部门，内翻书房是负责满文译成汉文的翻译部门，可以认为是文书档案的管理工作。
清代官场中流传“大学士而不兼军机，有相之位，无相之权；军机大臣而不入阁，有相之权，无相之位；必二者兼得，始为真相。”也就是说，身为军机大臣，只要皇帝信任，交差办事，那么军机官员的地位和权威就存在；如果皇帝不交给事情办，那么这些军机官员就无事可做。入职军机处的大臣都是皇帝特别信重者，如深得雍正帝信重的汉臣张廷玉，自军机处成立起，到其致仕，一直任职于军机处。
在军机处的历史上，军机处作为清代最重要的中央秘书机构一直以办事高效精干见称，从来没有出现过皇权与相权激烈对抗的现象，也从来没有军机大臣的权势嚣张到不可控制的程度，这就是军机处最成功的地方。
乾隆帝时期和珅掌权，开始大大提升了军机处的地位，不仅参与决策，还实际掌控了信息渠道，皇帝被操纵的风险大大增加。嘉庆帝扳倒和珅后，重新整治军机处的"平章军国重事"的职责，在发挥作用的同时，不伤及皇帝权威的肌体。
咸丰帝时期，成立了总理各国事务衙门，军机处之决策权渐移。到了慈禧太后大权独揽时，军机处和军机大臣的权力被严重削弱，军机处变为慈禧太后统治的工具。
军机处在清朝历史上是一个特殊而又发挥着重要作用的机构，设立以后由于其办事迅速、机密，效率高又秉承皇帝的旨意办事、忠于皇帝，极大地加强了皇权。但是随着历史的发展，客观形势的变化，清朝的皇权失去了往日的威严，曾经发挥过重要作用的军机处也逐渐走向了末路。
