后来，上官桀打算让时年仅六岁的上官氏做皇后，遭到霍光反对，于是转而走盖长公主的门路，在始元四年（83年）成功使上官氏被册立为皇后。作为后父的上官安被拜为骠骑将军，封桑乐侯。霍光每次休假出宫，上官桀就入宫代替他处理政事。上官家族为了回报盖长公主，想将其情夫丁外人封列侯和光禄大夫，也被霍光驳回。霍光此前又曾多次阻止上官家族其他亲戚封官。武帝在位时，上官桀已经是九卿，职位在霍光之上，等到上官父子同为将军，又有皇后内亲的显赫地位。于是双方逐渐结怨，互相斗争，成为政敌。
燕王刘旦自以为是昭帝的哥哥，心里常怀怨恨。而桑弘羊自认在财政改革上立有大功，想替子弟谋官，却遭到失败，也怨恨霍光。于是，上官桀父子联合盖长公主、刘旦以及桑弘羊共同结成反对霍光的同盟，假托刘旦名义，趁霍光休假的时候向汉昭帝上书诬陷说：“霍光把郎官和羽林军都集中起来操练，道上戒严，太官先到目的地安排。”
又说：“苏武从前出使匈奴，被拘留二十年而不降，回朝后才当上典属国。大将军府中的长史杨敞无功，却当了搜粟都尉。霍光又擅自选拔增加自己幕府的校尉。霍光如此专权放纵，臣怀疑他有图谋不轨之心。臣愿意归还符节玺印，回京入宫侍卫，提防奸臣的意外之变。”
他们准备等到霍光休假出宫之日奏上此章。上官桀打算从宫禁中把奏书交给有司，由桑弘羊与群臣一同胁迫昭帝罢黜霍光。但年仅十四岁的昭帝看到奏疏后，不肯将其交给有司。
第二天，霍光听说此事，停留在画室，不敢进殿。昭帝询问道：“大将军在哪里？”
上官桀回答：“因为燕王揭发了他的罪行，所以不敢进来。”
昭帝下诏召霍光进殿。霍光摘掉帽子叩头告罪，皇上说：“你带上帽子。朕知道这封奏书是假的。你没有罪。”
霍光说：“陛下从哪里知道的呢？”
昭帝说：“你去广明练兵是近日的事，选拔校尉以来没有十天，燕王怎么能够知道呢？再说你要干坏事，也不需要增加校尉。”
尚书及昭帝身边的亲随听到昭帝这么说，都大感震惊。上书的人知道后，果然逃跑了，有司追捕很急。上官桀等人惊恐不已，对昭帝说小事不值得深究，昭帝不听。
之后，上官桀等人再次进谗言诬陷，昭帝发怒说：“大将军是忠臣，先帝嘱托他辅佐我，敢有诽谤他的就依法治罪。”
从此上官桀等不敢再说什么，转而策划让盖长公主设酒席宴请霍光，然后埋伏士兵击杀他，趁便废去昭帝，迎立刘旦为天子。但计划泄漏，霍光族灭上官桀父子、桑弘羊、丁外人，鄂邑长公主和燕王刘旦自杀。
在扫除政敌后，作为上官皇后的外祖父，霍光“威震海内”，成为朝政实际上的决策者。昭帝加冠礼后，仍委政于霍光，使十三年间“百姓充实，四夷宾服”。
元平元年（前74年）夏四月癸未日，昭帝驾崩，他没有儿子。霍光迎立汉武帝之孙、昌邑王刘贺于同年六月即位。据说刘贺在进京途中派人掠取民间女子、财产，并让其属吏、家人都穿上刺史的官服，封官进爵，任其胡作非为。而且疏远老臣，提拔自己的官属。霍光为此忧闷不已，向大司农田延年问计。田延年举出伊尹废太甲的先例，建议霍光废帝。霍光于是暗中与车骑将军张安世策划商议，然后召集丞相、御史、将军、列侯、在朝的二千石官员、大夫、博士等在未央宫共同商讨此事。
会上，田延年持剑力陈废帝的缘由，群臣都叩头，说：“天下安危都在于大将军，我们将听从您的命令。”
霍光就与群臣一起去见上官太后，将刘贺不宜为帝的情况一一向太后陈述。上官太后来到未央宫承明殿，尚书令宣读群臣奏劾刘贺的奏疏，列举其成为皇帝二十七日以来的种种罪状。读毕，太后同意废帝，霍光命令刘贺起身跪拜，接受诏令。
刘贺争辩道：“听说天子只要有七个诤谏之臣，即使无道也不会丧失天下。”
霍光说：“皇太后下诏废除，你还算什么天子？”
于是走近抓住刘贺的手，解下他的玺绶，将刘贺送回昌邑王府，后遣回封国。霍光又以昌邑王群臣没有尽到辅导责任、“陷王于恶”为由，诛杀了两百多人。
刘贺被废后，霍光同群臣商议，决定从民间迎接武帝曾孙刘病已（后改名刘询）继承帝位。这就是汉宣帝。
宣帝即位后，仍由霍光辅政。本始元年（前73年）正月，霍光提出归政。宣帝谦让不接受，于是朝廷事务的决策仍先经过霍光过问再禀报天子。宣帝根据霍光的“定策”之功，下诏把河北、东武阳的一万七千户加封给他，使其所享食邑达二万户。宣帝前后共赏赐他黄金七千斤、钱六千万、杂色绸帛三万匹、奴婢一百七十人、马二千匹、住宅一所。
本小章还未完，请点击下一页继续阅读后面精彩内容！