江西
公元前85年，汉昭帝初即位时霍光大权独揽，国家实际上是霍光在治理。看上去霍光很顺利，但就在此时，霍光的危险也悄悄向他靠近。
燕王刘旦
第一个危险：刘旦怨恨霍光，想要除掉他
汉武帝去世后，燕王刘旦派他宠信的臣僚寿西长、孙纵之、王孺等前往长安，以询问祭悼汉武帝的礼仪为借口，暗中刺探朝廷动态。并与皇室成员中山哀王之子刘长、齐孝王之孙刘泽等密谋共同反叛朝廷，还伪称在汉武帝生前曾得到诏书，允许他掌握其封国内各级官吏的任免权，整顿封国的军队，防备非常事变。
后被人告发，燕王刘旦被供出。汉昭帝下诏，以燕王为至亲，下令不许追究，而将刘泽等全部处死。
刘旦仍不死心，也不思悔改，他觉得自己是汉昭帝的兄长，未能继承皇位，所以常常心怀怨恨。所以仍然派遣孙纵之等人前后十余批，携带大批金银、珠宝、快马等前往长安，贿赂鄂邑公主、上官桀、桑弘羊等人，希望和他们联手密谋除掉霍光。
第二个危险：汉昭帝姐姐鄂邑长公主怨恨霍光，想要除掉他
汉昭帝的姐姐长公主与她儿子的门客河间人丁外人私通，上官安平时与丁外人关系很好，便对丁外人说：“我女儿容貌端正，如能得到长公主的帮助，入宫成为皇后，我与我父亲在朝为官就有皇后作为依靠，此事的成败全都在您。按汉朝的惯例，公主常常嫁给列侯，您又何愁不能封侯呢！”
丁外人非常高兴，便将此事告诉长公主，长公主表示赞同，于是让汉昭帝颁布诏书，将上官安的女儿召入宫中，封为婕妤，并任命上官安为骑都尉。
上官桀父子的地位既已尊贵，对长公主非常感恩，便想为丁外人谋求封侯，但霍光不许。上官桀父子又请求任命丁外人为光禄大夫，想使其取得受皇帝召见的资格，霍光仍然不许。长公主因此怨恨霍光。
上官桀
第三个危险：上官桀父子怨恨霍光，想要除掉他
上官桀、上官安几次为丁外人谋求官爵都未能实现，也觉脸上无光。上官桀的岳父所宠爱的一个叫充国的人，担任太医监，因私自闯入宫殿，被逮捕下狱，定为死罪。当时，处决犯人的冬季即将过去，长公主为充国交纳二十匹马赎罪，使其被免除死刑。于是，上官桀、上官安父子深怨霍光而更加感激长公主。
自从汉武帝时，上官桀已位列九卿，地位高于霍光，及至上官桀父子同为将军，皇后又是上官安的亲女儿，而霍光只是皇后的外祖父，却反而专制朝政，因此上官安父子与霍光争权。
桑弘羊
第四个危险：桑弘羊怨恨霍光，想要除掉他
御史大夫桑弘羊创立盐、铁、酒类专卖制度，为国兴利，自认为于国有功，想为其子弟求取官职，遭到霍光拒绝，因而也怨恨霍光。
四股力量第一次密谋除掉霍光失败
上官桀等又命人伪造燕王上书，言称：“霍光出外校阅郎官及羽林军时，就仿佛皇上出巡一般，命人清道，驱赶行人，派太官为其预先安排饮食。”又称：“苏武出使匈奴，被扣留二十年而不肯投降，回朝后只不过给了个典属国的官职；而大将军长史杨敞并无功劳，却被任命为搜粟都尉；另外，霍光还擅自增选大将军府的校尉。霍光独揽大权，为所欲为，是否会做出不利于朝廷的非常之举，令人怀疑。因此，我愿意交还燕王的印玺，进入宫廷，侍卫在皇上左右，监督奸臣的行动，以防有变。”
等到霍光休假不在朝中时奏闻汉昭帝。上官桀本打算从朝廷中交给有关官员去查办，由桑弘羊与各大臣一起逮捕霍光，撤销其职。但上奏后，汉昭帝却扣留不发。第二天早晨，霍光入朝，听说此事后，停在画室中不敢贸然进殿。汉昭帝问：“大将军在什么地方？”左将军上官桀回答说：“因燕王控告大将军的罪行，所以他不敢进殿。”汉昭帝下诏：“召大将军进来。”霍光进殿后，脱下官帽，叩头请罪。
霍光
汉昭帝说道：“将军请戴上帽子。朕知道这道奏章是假的，将军并没有罪。”霍光说：“陛下是怎么知道的呢？”汉昭帝说：“将军去广明校阅郎官，是最近的事，选调校尉以来，也还不到十天，燕王怎么能知道这些事呢！况且将军如要谋反，也用不着选调校尉。”此时汉昭帝年仅十四岁，尚书及左右官员全都震惊了。后发现呈递这奏章的人果然逃亡，汉昭帝下令紧急追捕。上官桀等人心中害怕，便对汉昭帝说：“区区小事，用不着穷追不放。”汉昭帝不听。后上官桀的同党中有人说霍光的坏话，汉昭帝立即怒斥道：“大将军是忠臣，先帝托付他辅佐我，谁再胆敢诬蔑大将军，就问他的罪！”从此，上官桀等不敢再攻击霍光。
汉昭帝
四股力量第二次密谋除掉霍光再次失败
长公主、刘旦、上官桀和桑弘羊等密谋由长公主设酒宴邀请霍光，埋伏武士将霍光杀死，然后乘机废掉汉昭帝，迎立燕王刘旦为皇帝。刘旦设置驿马传书，往来递送消息，许诺事成后封上官桀为王，并对外联络了数以千计的各郡、国的豪杰之士。
