早有车骑将军张安世带领羽林骑兵，将昌邑群臣悉数拿下，共得二百余人，连龚遂、王吉等一并在内，送交廷尉究治。一面报知霍光，霍光传入昭帝旧日侍臣，命其守卫刘贺。并嘱道：“汝等须留心守卫，万一羞愤自尽，使我负杀主之名，何以对天下。”诸人领命入内。刘贺见左右近侍皆新来之人，又听说昌邑群臣被缚，但不知自己当废，便问道：“我旧日从官因何得罪，大将军竟将他们悉数囚系？”左右答道：“不知。”
少顷使者持节到来，说是皇太后有诏来召。刘贺对使者说道：“我有何罪？太后却来召我？”使者也答不知。刘贺没法，只得乘车随同使者前往。
当日上官太后披着珍珠缀成的短袄，穿着盛装坐在未央宫承明殿武帐之中。侍御数百人排列两旁，手中皆持兵器。不久使者领了刘贺到来，太后命刘贺俯伏殿前听诏，旁有尚书令手持群臣奏章高声读道：
丞相臣敞、大司马大将军臣光、车骑将军臣安世等，昧死言皇太后陛下：臣等认为高皇帝因为创建汉朝基业，所以称汉太祖，孝文皇帝因为仁慈节俭被称为太宗，如今昌邑王行为放纵不合法度。宗庙重于君。陛下未见高庙受命，不可以承天序，奉宗庙，子万姓，应当废黜。臣等昧死以闻。
尚书令读罢奏章，皇太后宣诏曰：“可。”刘贺听说自己被废惊倒在地。霍光便令刘贺起拜受诏。刘贺急道：“古语有言，天子有诤臣七人，虽无道，不失天下。”霍光不待说完便接口道：“皇太后有诏废王，怎得尚称天子？”于是上前抓住他的手，解下他身上的玺印绶带，捧上交给太后，扶着昌邑王下了宫殿，走出金马门，群臣跟着送行。昌邑王向西面拜道：“我愚昧不明事理，不堪担当汉朝的重任。”起身坐上皇帝侍从的车辆。霍光把昌邑王送到昌邑邸后，告罪说道：“大王自绝于天下，臣下也没有办法。臣下宁可对不起大王，也不能对不起国家。从今天起，臣下就不能再服侍大王了，请大王多多保重!”说罢伤心涕泣而去。
刘贺既废朝中无主，霍光便请上官太后暂住未央宫临朝听政，又移夏侯胜为长信少府，赐爵关内侯，请他教授太后书经。其实太后年纪尚小，不知处断政务，又是霍光外孙女，也不敢自出主意。凡事皆由霍光拟定办法后奏闻太后，太后无不照准。
霍光见废立之事虽已成功，尚有刘贺与昌邑群臣须分别处置。遂请太后下诏群臣会议办法，群臣上奏说：“古代被罢黜放逐之人都流放到很远的地方，不使他干扰国家政令，我们请求把昌邑王迁到汉中房陵县。”
房陵县被称为“帝王流放之都”，战国七雄中的赵王、唐中宗、周恭帝等人都在这里住过很多年，吕不韦、嫪毐的门客、北宋赵廷美等人也被发落到这里。若是刘贺被扔到此处，倒也符合身份。
霍光没有对刘贺这么狠，他让刘贺回到了故土昌邑，还把从前昌邑王的财物都还给他，又赐给他两千户汤沐邑，他的四个姐妹也各自得到一千户的汤沐邑。这些赠送的东西可以维持住刘贺基本的体面。
作为被废的皇帝朝廷自然要有所惩处，刘贺之前是昌邑王，现在改为山阳郡，昌邑国除。
昌邑群臣被拿下狱，经廷尉逐人提出审讯，录取供词复奏。霍光命将二百余人一律处斩，昌邑相安乐也在其内，此时追悔不及，惟中尉王吉、郎中令龚遂屡次进谏得免死刑，髡为城旦。
到了行刑之日，原昌邑二百余人均被绑赴市曹斩首。赴死途中，又人高呼道："当断不断，反受其乱。"这句话只有一个解释，那就是他们曾经计划除掉霍光，但进度缓慢，最后被后者捷足先登反杀了。
由此可以推断，霍光罢黜刘贺的原因绝不是几件不合礼仪的荒唐事，而是昌邑旧部想扳倒自己。于是霍光先下手为强，他早已将宫廷事务抓在手里，禁卫军的兵权也换到了自己的亲信张安世手上，宫廷事务则由田延年掌控，所以这位老兄敢在朝堂上拿着宝剑威胁人。而完成最后一击的皇太后，她是霍光的外孙女。
刘贺被废后说过一段话："我本人愚笨，当不了皇帝。"这个意思是说，有霍光在，我当皇帝太难了。
从这些可以看出，霍光是个小心谨慎，手段高明的政治人物。由他主导废立皇帝的事，事后的官方档案记载里肯定不会出现丝毫不利于自己的记录。
至于昌邑群臣所坐罪名，不过是不能辅导，陷王于恶，依律原不至死，况二百余人中大多是马卒厨夫官奴等人，更不能责以大义，而霍光不问轻重一体骈诛，是不是有些过分呢。
后人有诗叹道：
国家为重嗣君轻，
主昧何妨作变更；
只是从官屠戮尽，
滥刑毕竟太无情。
霍光虽然带领大汉朝走进了“汉宣之治”，但是他也有奸诈的一面：把持朝政、危害朝臣、废立皇帝。虽然功不可没，但狡诈之心也昭然于天下。
喜欢秦汉传奇请大家收藏：(m.suyingwang.net)秦汉传奇三月天更新速度全网最快。