通过黄袍加身这样一出闹剧，赵匡胤通过“禅让”当上了皇帝。由于是靠着禁军登上皇位的，他最忧心的自然是手下掌握军队的将领，万一哪一天他们也效仿他披上黄袍做皇帝怎么办？于是，演绎出了“杯酒释兵权”的著名故事。

赵匡胤称帝不到半年，就有两个节度使起兵造反。他只得御驾亲征，很费劲才把他们镇压下去，有一天，他单独召见赵普，问他：“从唐末以来，一直没完没了地打仗，不知道死了多少人，这到底是怎么回事？为什么会出现这种情况呢？”赵普说：“陛下，道理很简单，国家混乱是因为藩镇的权力太大，如果把兵权全部收回，把军队统归中央，不久天下太平了吗？”宋太祖连连点头：“说得好！”赵普接着说：“现在的禁军大将石守信、王审琦的兵权太大，还是把他们调离禁军的好。”这两个人，就是当初为赵匡胤打开京城城门的人。通常，赵匡胤带兵出征，这两员大将就替他留守朝廷，应该是赵匡胤很信任的人。所以，赵匡胤一听赵普的话，立即说：“不会不会，这两个人是我的老部下、老朋友，怎么会反对我呢？”赵普说：“我不担心他们叛变，但是，根据我的观察，这两个人没有什么统帅的才能，管不住下面的将士，有朝一日，下面的人闹起事来，我怕他们身不由己呀。”赵匡胤一听，直敲自己的脑袋：“亏得你提醒我。”

过了几天，赵匡胤就在宫里举行宴会，请几位老将喝酒，酒过三巡，赵匡胤说：“我要不是有你们的帮助，也不会有现在这个地位。但是，你们哪里知道，做皇帝也有很大的难处，还不如做个节度使自在。不瞒各位说，这一年来，我就没有一夜睡过安稳觉。”石守信等率领禁军的大将一听，觉得十分惊奇，赶紧问：“陛下，这是什么缘故？您怎么会睡不好觉呢？”宋太祖说：“这还不明白吗？皇帝这个位置谁不眼红呢？”这些大将终于听明白了，赶紧跪地磕头，说：“陛下，为什么说这样的话，现在天下安定，谁还敢对陛下有二心呢？”宋太祖摇摇头说：“对你们几位，我难道还信不过吗？但是，就怕你们部下将士中有人贪图富贵，把黄袍披到你们的身上，你们想不干，行吗？”这话一说，所有的大将都觉得大祸临头了，赶紧磕头，泪流满面，嚎啕大哭：“陛下，我们是粗人，没想到这一点，请陛下开恩，给我们指一条路吧。”

赵匡胤说：“我替你们继位老哥考虑，你们还是把兵权交出来吧，到地方上去做个闲官，买点田地房屋，给子孙留点家业，快快活活度个晚年，我和你们再结我亲家，彼此毫不猜疑，这不更好吗？”大将们磕头如捣蒜：“谢谢陛下，陛下的恩德太大了，替我们考虑得那么周到。”第二天，这些人搜递上奏章请辞。宋太祖马上准奏，收回了他们的兵权，赏给他们一大笔财物，打发走了他们。这就是“杯酒释兵权”的故事。

公元969年，一些节度使到京城朝见。宋太祖在宫廷举行宴会。席间，他说：“你们都是国家老臣，现在藩镇的事务那么繁忙，还要你们干这些苦差事，我实在过意不去。”节度使里有一个乖巧的人说：“陛下，我本来也没什么功劳，留在这个位置上不合适了，希望陛下允许我告老还乡。”也有的节度使不知趣，唠叨自己的功劳，宋太祖眉头一皱说：“这些陈年老账，提它干啥？”第二天，这些人一起上表，要求解除兵权。

这样，宋太祖就把中央禁军的兵权和地方节度使的兵权全部控制在自己手里。他建立了新的军事制度，从地方军队中挑选精兵，编成禁军，由皇帝直接指挥。各地行政长官由朝廷直接委派。这些措施，使宋朝开始稳定下来。宋太祖的做法，一直被后来的皇帝沿用，有效地防止了兵变，但同时，却削弱了军队的战斗力。因为军队由中央控制，临时打仗，就派出一个将军，调一支军队给他。造成兵不知将，将不知兵。所以，北宋的军力一直很弱，在后来和辽、金、西夏的战役中，屡屡战败，这就是重要的原因。