在汉武帝宠爱的众多后妃中，最使汉武帝生死难忘的要数李夫人。李夫人不幸早逝，汉武帝悲痛不已。下令将李夫人用皇后礼安葬，又让画师将她生前的音容笑貌画下来，挂在甘泉宫，日日对像思人，极尽哀伤。还亲自作了一篇《李夫人赋》，倾诉了对李夫人的深切怀念之情。然而，就是这个让汉武帝魂牵梦萦的李夫人，她的家族后来却被汉武帝本人两次灭族。这事还得从李夫人的哥哥李延年说起。
李延年与其妹李夫人都是以乐舞为职业的艺人，能歌善舞。李延年原本因犯法而受到腐刑，负责饲养宫中的狗，后因擅长音律，得到汉武帝的宠爱，成为专职的宫廷乐师。
北方有佳人，
绝世而独立。
一顾倾人城，
再顾倾人国。
宁不知倾城与倾国？
佳人难再得！
有一次，李延年给汉武帝表演，边舞边唱，献上了这首歌。汉武帝听了深深感叹：“世上真有这样的女子？”一旁的平阳公主接话说：“延年的妹妹就是这样的美人！” 于是汉武帝即刻召她进宫。一见到李姑娘，汉武帝就被深深地迷住了：容貌绝佳体态曼妙又能歌善舞，果真是倾国倾城。于是李夫人就开始了她那万千宠爱集于一身的宠妃生活。
李夫人后来能使汉武帝如此难以忘怀，固然是因为美貌过人，但独特的气质与禀赋，也让她显得超凡脱俗。她性格温婉，做人极有分寸，而且聪颖过人。
“夫人”是嫔妃的称号，与皇后的宝座只有一步之遥了。谁知天妒红颜，李夫人生下儿子刘髀后就得了重病，百治无效，消磨得形销骨立。汉武帝得知她病危，就到她的宫中来看望她。谁知李夫人却用被子蒙住了自己的头，不愿让武帝看见。汉武帝问是什么缘故，她只是赔罪道：“我久病在床，容颜憔悴，仪容未修，实在不宜见君主。如果我们就此天人永隔，请照顾我的儿子和兄长。”李夫人越不愿见汉武帝，汉武帝就越想见她，甚至许诺说：“假如你让我见上一面，我不仅赏赐你千金，而且提拔你的兄长让他们做大官。”李夫人硬是不让汉武帝见上一面，转过身去躲在被子里哭泣。汉武帝见状，就生气地离开了。
汉武帝走后，那些侍疾的姐妹们都埋怨李夫人：“皇上是因为喜欢你，才要见你一面，你为什么不答应呢？见了面，你也好请他照顾你的儿子和兄长啊！”李夫人叹气道：“以色事人者，色衰而弛。如果他看到我现在的病容，就会厌恶我。他还会照顾我的家人吗? ”这轻轻的一句话，看得出李夫人内心的苦楚。虽然她荣宠至极，但她非常清楚，所谓皇帝的嫔妃，不过是一种“以色事人”的职业罢了，夫妻间的情分，是万万奢求不得的。可以想象，那段在汉武帝面前巧笑嫣然的日子，她该是如何小心翼翼地装扮自己？
几天后，李夫人去世。果不出她所料，她拒绝见那最后一面，没有激怒汉武帝，反而激起了汉武帝的无限遗憾，无限痛苦。于是就有了文章开头的那一幕。不幸的是汉武帝并不是一个爱屋及乌的范儿，后来非但没有照顾好李夫人的兄长，而且还竟然对李夫人的家族进行了两次灭族行动，可见帝王之心确是不同一般的冷酷无情。
第一次是因为李延年的弟弟李季奸乱后宫，被灭全族，除了长兄李广利一家，因为当时李广利正在征伐大宛没有受到牵连。
第二次由巫蛊之患引起。江充办案的同时，李广利率领的七万大军正在北方与匈奴作战。李广利的妻儿也不幸卷入了此案之中，失去理智的汉武帝将李广利的家人也一并收监，随时准备处斩。消息传至塞外，李广利大惊。为了能将妻儿救出牢笼，李广利急于立下大功。这直接导致他将数万将士贸然带入险地，结果被匈奴围困，最终汉军大败。李广利投降匈奴，李家又一次被灭族。汉武帝进行了两次灭族行动之后，李夫人家族“硕果”仅剩的只有李夫人与汉武帝所生的儿子昌邑王刘髆。
