咸丰五年（1855年），咸丰皇帝经年累月所积攒的对恭亲王的不满情绪，随着同为咸丰养母和恭王生母的康慈皇贵太妃去世，以及奕訢擅自传旨尊太妃为皇太后两件事，彻底地爆发了出来。
在康慈皇太后入土后，咸丰发了一道上谕，严斥了这个不懂事的弟弟。
“恭亲王奕訢于一切礼仪，多有疏略之处，着毋庸在军机大臣上行走；宗人府宗令，正黄旗满洲都统，均着开缺；并毋庸恭理丧仪事务，管理三库事务；仍在内廷行走，上书房读书；管理中正殿等处事务。必自知敬慎，勿再蹈愆尤，以副朕成全之至意。”
所谓的“礼仪疏略”，只是台面上的说辞。咸丰真正想说的，在谕旨的最后一句——“必自知敬慎”。言下之意，乃恭王胡作非为，对上不敬、处事不慎，因此让他回去好好反省。
对咸丰而言，奕訢挟持自己封其母为后，说轻了是恃宠而骄，往重了说便是图谋不轨。咸丰顾念旧情，给奕訢留了情面，仍保留恭亲王的爵位，没有把他一棍子打死，但惩罚也很重，罢免军机之职，等于剥夺了他参与政务的权力。
王闿运在《祺祥故事》中记载，“（上）自此远王同诸王矣。”
咸丰与这个六弟的情分，本来是与众不同，这一方面是由于他们由一个母亲抚育成人，另一方面也是因为两人年龄相仿，从小就玩得来的缘故。跟早早过继惇亲王的皇五子奕誴，以及年岁差距较大的皇七子奕譞、皇八子奕詒、皇九子奕譓相比，奕訢是与咸丰最亲近的一个弟弟。但经历此事后，咸丰对待奕訢，便与对待其他弟弟没什么两样了。
又或更甚，咸丰对其他异母弟，尚能以怀柔待之，而对曾经与自己如此亲密的奕訢，物极必反，剩下的只有猜疑和顾忌。
皇帝九五之尊，至高无上，却高处不胜寒。咸丰并非天生习惯孤寡，在过去，他视康慈皇贵太妃和恭亲王为至亲，而如今遭遇两人相继“背叛”，一下子失去了可以亲近信用的人。在这种时候，有人趁虚而入，取恭亲王之位而代之，也就不奇怪了。
我们先说说前面一直提到的《祺祥故事》，它的作者王闿运是何方神圣，能知道如此详细的宫闱秘闻？
王闿运，字壬秋，室名湘绮楼，号湘绮先生。王闿运经史诗文无一不通，尤其自鸣得意其“帝王之学”，座下弟子有“戊戌六君子”中的杨锐、刘光第，以及后来的杨度、齐白石等，是晚清到民国时期的大名士。
在咸丰年间，王闿运被户部尚书肃顺所延揽，聘为家庭教师。
“入都，就尚书肃顺聘。肃顺奉之若师保，军事多谘而后行。”
上面这句话，出自《清史稿》儒林列传的记载。这暗示了王闿运备受肃顺重用，并非只是一名普通教读，而是为其出谋划策的幕僚心腹。因此王闿运所记录的种种皇家秘史，即是肃顺所告知。
肃顺是爱新觉罗宗室，郑献亲王济尔哈朗的嫡系。到肃顺这一代时，他在家中排行老六，郑亲王的爵位被嫡长兄端华所继承，肃顺本人受封三等辅国将军。
清朝的“铁帽子王”，世袭罔替，位分极高，因此除帝胤的亲王外，铁帽子王最受皇帝所亲。在哥哥郑亲王端华的引荐下，肃顺才得以与咸丰产生交集。在初次见面时，肃顺提出“严禁令、重法纪、锄奸宄”的治国理念，与咸丰廓清道光三十年来吏治腐败这一痼疾的意图不谋而合，让咸丰对肃顺另眼相看。
由于肃顺善于逢迎皇帝，办事又十分老练周到，相处日久，咸丰对他愈加倚重和亲近。恭亲王奕訢被贬抑后，肃老六也一举代替恭老六，成为了天子身边的第一近臣。
