北汉国其实是五代十国中相对最贫弱的一个，只占据今山西中北部11个州。但并州是春秋时晋国故地，有黄河、汾河、太行山相拱卫，号称“表里山河”，易守难攻，北面是蒙古草原，容易补充战马。北汉又寄在辽帝国卵翼之下，辽国将其作为与中原政权的战略缓冲，百般庇护，北汉本身也确实足够顽强，故而周世宗、宋太祖都未能轻松攻克。周世宗虽在高平之战中大胜，但由于史彦超轻敌冒进，会攻太原功亏一篑，宋太祖在他17年在位期间，也曾两次进伐北汉均未果。第一次在开宝元年（公元968年），北汉国主刘继钧身后因为继位问题发生内乱，太祖认为有机可乘，遂在攻灭后蜀之后立即遣昭义军节度使李继勋率军攻打北汉，但事先缺乏充分准备，只是一次试探性进攻。虽然李继勋初时作战顺利，一度兵临太原城下，但是紧接着大辽援军赶到，太祖认为和辽军开战的时机尚不成熟，下诏退兵。第二次就在开宝二年，北汉又发生内乱，国主刘继恩被弑，其弟刘继元继位。
太祖又认为有机可乘，集结重兵，以昭义军节度使李继勋为河东行营前军都部署，侍卫步军指挥使党进副之，宣徽南院使曹彬为都监，以伐北汉。另遣彰德军节度使韩仲赟为北面都部署，彰义军节度使郭延义副之，以防辽军来援。宋军进展顺利，快速合围太原，太祖亲临城下督战。宋军筑起长连城围定太原城，日夜攻打，后又决汾河灌城，但北汉据城死守，几十日不下。另一方面，何继筠、韩仲赟等将也击败辽帝国援军，但辽军此时采取了正确的救援战略——围魏救赵，遣大军突入宋境，宋军久围太原不下，只得班师。太祖在开宝初年两次讨伐北汉，当时南汉和南唐都还没有平定，按照王朴的《平边策》提出的“先南后北”战略，不应该急于进伐。而这两次北伐也没有作好充分准备，所以都在前期进展顺利的情况下不了了之。但太祖也作好了长远打算，将北汉境内的居民尽量内迁，坚壁清野，又断绝北汉的商路，弄得北汉凋敝不堪，为后来宋太宗攻灭北汉打下坚实基础。可惜平定南方后太祖还没来得及重新组织北伐就已驾崩，没能亲手翦灭北汉，殊为可惜。