霍显自从许后死后，便为其女霍成君安排陪嫁衣装器具，力劝霍光纳入后宫，霍光只得依允。

从来少年无丑妇，况是相府娇娃，总有一些秀媚状态。宣帝年甫逾冠正当好色年华，虽然追忆前妻余哀未尽，但看了这个如花似玉的佳人，怎能不情动神移？当下优礼相待逐渐宠幸。过了一年，竟将霍成君册为继后。许后起自微贱虽贵不骄，平居衣服俭朴无华，每五日必至长乐宫朝见上官太后，亲自进食谨修妇道。而霍光女为后，与许后大不相同，出门之时，车驾煊赫侍从如云。又兼素性阔绰，所颁赏赐不下千万。比起许后，一奢一俭，相去甚远。只因上官太后谊属尊亲，不得不效仿仿许后前去侍奉。上官太后系霍光外孙女，论夫家上官太后是奶奶，论母家霍后是姨母，所以上官太后看见霍后进谒往往起立一劳特别敬礼。宣帝亦宠爱霍后，常在正宫住宿。

到了地节二年春，霍光年老得病渐渐沉重，宣帝听说后驾临霍光家中，亲到榻前问病，听说病势已危，医药难以挽救，不禁为之涕泣。及宣帝回宫，霍光上书谢恩，并请分自己封邑三千户给侄孙霍山为列侯，以奉霍去病之祀。

数日后霍光病死，宣帝拜霍光之子霍禹为右将军，封霍山为乐平候，以奉车都尉领尚书事。又封霍光侄孙中郎将霍云为冠阳侯，霍氏一门三侯。霍显此时居然做了太夫人，与冯子都同居俨如夫妇。

霍光死后，宣帝及上官太后亲来祭奠，使太中大夫任宣及侍御史五人持节护理丧事，中二千石以下官吏监修坟墓，赐以御用衣衾棺材。

到了葬日，灵柩装入辒辌车中，前导仪仗逐队排列，首尾长有数里。满朝文武百官皆来送葬。丧车装饰异常华丽，并用黄屋左纛一如帝制。自长安直至茂陵，一路都有军队陈列。

此段风光不亚于天子出丧，长安士民扶老携幼齐来观看。宣帝下诏赐谥宣成侯，遣官为他起坟墓祠堂，置园邑三百家，设官看守，依时祭奠。

霍禹、霍山修建住屋极其华丽，又不时出外游行，驰逐平乐观一带。霍云更是放荡，每当朝见之日往往私自出外，带领宾客架鹰牵犬张围大猎，却使苍头奴持了名帖上朝挂号，有司畏其势力不敢责备。霍显与诸女任意出入长信宫，日夜无度。

却说御史大夫名叫魏相，以前治郡有方深得民心。在任茂陵令时，御史大夫桑弘羊的亲戚坑骗乡里，鱼肉百姓。魏相辨明真伪，不畏权贵，将其收捕治罪，并杀于街市示众，从此茂陵大治。在河南太守任上，他整顿吏治，考核实效，禁止奸邪，当时豪强无不畏服。因政绩突出，后被征为谏议大夫。宣帝即位后，征魏相为大司农，后升为御史大夫。

魏相见霍氏所为不成体统，便请许广汉带领入见宣帝。魏相一见宣帝便说：“自霍光去世，其子霍禹复为右将军，侄孙霍山现居政府，兄弟诸婿皆据高位。霍光夫人霍显及诸女在长信宫皆有名籍，或夤夜称诏开门出入，宜设法减夺其权破其阴谋，以固万世之基，并可保全功臣之后。”宣帝久闻霍氏家人倚势横行，心中已是不喜，因看霍光面上不便究问。今闻魏相之言甚合其意，点头称善。又过数日，魏相复由许广汉面请宣帝，除去副封以免壅蔽。原来旧例人民上书须备正副两封，先由领尚书者开拆副封观看，若是所言不善便将原书搁起不奏。今宣帝依从魏相之言除去副封，人民所上之书不须由霍山过目。霍山虽领尚书事，但已毫无权力。宣帝准许群臣单独进见言事，霍显觉得情形不妙，便唤霍禹、霍山、霍云等说道：“汝辈奉承大将军遗业，不思保全自己地位，若有人进言离间何以自救？”霍禹等闻言也不在意，谁知不久真正闹出事来。

原来霍氏一班家奴，霍光在日倚借主势气焰凌人，谁也不敢将他得罪。如今霍光虽死，但他们骄横已惯，也不肯稍稍敛迹。一日霍氏家奴与御史大夫家奴同在路上行走，偏是冤家路窄两下相让，彼此争执良久。霍氏家奴大怒，率领众人闯入御史府中，府中人见了连忙关门。

霍氏家奴闯破大门。御史对着众人叩头谢罪方才息事。旁人见了十分不平，一时议论纷纷，都说霍氏家奴目无法纪欺人太甚，霍显闻之方知忧惧。此时丞相韦贤年老多病，便向宣帝辞职，宣帝赐以黄金驷马归第。宣帝拜魏相为丞相，以丙吉为御史大夫，二人同心辅政，宣帝甚加倚任。魏相不时入见宣帝商议政事。

宣帝又宠信平恩侯许广汉及侍中金安上，许其任意出入宫中。

地节三年，宣帝立刘奭为皇太子，时年八岁。霍显听说后愤怒异常，不肯进食，对家中人说道：“此乃帝在民间时所生之子，岂可立为太子！将来皇后有子，反要为王，向他称臣朝拜，实在使人不甘。”乃悄悄的入见霍后，叫她毒死太子，免为所制。霍后依着母命，怀着毒物，屡召太子赐食，拟乘间下毒。偏宣帝早已防着，密嘱保姆随时护持，每当霍后与食，必经保姆先尝后进，累得霍后无从下手，只好背地咒骂衔恨不休。有其母必有其女。