自从刘彻将卫子夫给自己生的儿子刘据立为太子之后，卫家似乎就已经到达了他们权势的巅峰，太子是未来大汉朝的皇帝，得罪了卫家就是得罪了未来大汉朝的皇帝。

但是，荣宠还在继续，当时在守寡的平阳公主，也就是刘彻的姐姐，她也看上了卫青，希望刘彻能赐婚。刘彻又为他们赐婚，举办了一个盛大的婚礼。

自汉朝开国以来，还没有一个家族有过如此的荣宠，卫家的势力已经到达了顶峰，刘彻是卫青的姐夫，卫青的姐姐是当朝皇后，老婆是公主，继子是驸马，外甥是太子，他的亲戚各个身居高位，满朝文武见了卫青都要下车让路，远道相迎....

刘彻身为一代雄主，他早年间开创内朝为的是什么？不就是将权力集中到自己的手上吗？如今卫家的势力遍布朝野，是名副其实的大汉朝第二人，位置仅次于他，手握大权，这怎么能不引起刘彻的猜忌之心呢？

为了削弱卫家的势力，刘彻渐渐开始采取了一些举动，最重要措施有两个，第一就是将未将调离前线，让他住到长安来“帮助自己议政”，把他的大将军的帽子挂起来。第二，就是从内部分化卫家的势力，他决定用霍去病来牵制卫青。霍去病是一个头脑相对简单的人物“少言不泄，有气敢往”，他是军事天才，但在政治上却很幼稚。

前121年，骠骑将军霍去病出陇西，歼敌近万，同年，霍去病又攻入祁连山，斩首3万多，活捉匈奴王公大臣和贵族数百。霍去病此时已经有5000食邑了。

同年的秋天，匈奴发生了内讧，浑邪王和休屠王来到边境投降，霍去病再次领命迎降。霍去病还没到，休屠王就反悔了，浑邪王将他杀掉后，自己的手下又反悔了，纷纷逃走了。霍去病闪亮登场，派人护送浑邪王去见了汉武帝，又迫降近十万匈奴军民，至此霍去病已经食邑10700户了。

霍去病的成功，离不开汉武帝的一心栽培，要知道，霍去病的兵马装备都是汉军中最好的。

到了119年，刘彻撤掉了卫青主帅的头衔，命他和霍去病各率5万人去远征漠北，彼此不受节制。

此战之后漠南再无王庭，那么卫青还有什么用？刘彻继续执行自己踩一个捧一个的政策，将两人都封为了大司马，待遇相同。识相的大臣们都去找霍去病了，卫青家开始冷清了起来。