宋太祖即位后，定都东京开封府（今河南开封），并以名义上的发源地宋州（今河南商丘）为南京，以洛阳为西京，以大名府（今河北大名）为北京。尊母亲杜氏为皇太后，父亲赵弘殷已于周世宗显德三年（公元956年）去世，追赠为“宋宣祖”，皇弟匡义避讳改名为“光义”。经推算，宋朝应该属火德，尚红色。后周宰相范质、王溥、魏仁浦继续为大宋的宰相，不久以赵普等亲信取代，又以石守信、高怀德等亲信执掌军权。并接受西羌党项部首领李彝殷（李彝兴）、荆南节度使高保融的割据势力的朝贡，一个新的国家已经初具气象。但他到底是要终结五代乱世还是继续做普通的第六代呢？首先要解决的问题是后周旧臣，京城内唯一不愿拥立宋太祖的忠臣韩通被杀，其余都投降了。张永德已经被废掉，但镇守北边潞州的李筠、镇守南边扬州的李重进仍手握重兵，而且都是拥有较高声望和政治背景的名将。他们确实也都树起反帜，声讨新建的宋朝。本来李筠和李重进约好同时起兵，共讨赵匡胤。
但是李重进派去联络李筠的“亲信”瞿守珣却跑到东京去向宋太祖告密并且做了双重间谍，又跑回扬州告诉李重进说李筠不愿意合作。当时也没有无线电，李重进就相信了他这位亲信。这边李筠却不知情，独自起兵。太祖遣归德军节度使石守信率军平叛，遣昭化军节度使慕容延钊、彰德军节度使王全斌从东路包抄，在长平（今山西高平）大败李筠。石守信、高怀德又在泽州城外大破北汉援军，生擒李筠部下伪节度使范令图，将李筠合围在泽州城内。宋军四十余天攻破城池，李筠赴火，其子李守节在上党投降，遇赦。就在泽州，李筠曾于高平之战中取得过名垂青史的荣誉，但也在这里，最终落得如此下场。讨平李筠前后只用了两个月左右的时间。北边的李筠被解决掉后，宋廷又将矛头指向南边的李重进。此时李重进才知道自己已经失去南北夹击的机会，后悔不及，但为时已晚。这一次太祖御驾亲征，只用一个月就攻克扬州，李重进和李筠的下场一样：举家。
最大的两个外镇武将被武力讨平，其余百官虽然还有很多仍然不舍后周，甚至经常流露出来，但事已至此，不可挽回。太祖对他们也非常宽容，认为这只是正常的人性流露而没有处罚，宋朝的内政逐渐稳定下来。周围的割据势力如南唐、北汉、吴越、后蜀等以及辽、高丽、三佛齐、占城等海外诸国纷纷遣使来朝，承认宋朝的正统地位，接下来就应该着手中国的重新统一大业。首先对准的目标是位于今湖南的衡州刺史张文表、荆南节度使高继冲和武平节度使周保权三位小人物，宋廷以山南东道节度使慕容延钊为主帅，枢密副使李处耘为都监，率十州地方军进讨，轻松获胜。这些都是小人物，就不详细讲了。控制了四战之地荆州，南方诸国都直接暴露在了宋军的矛头之下。乾德二年（公元964年），宋廷集结兵力讨伐后蜀。后蜀的国土大致相当于今四川省，最后一个皇帝孟昶（史称“后蜀后主”）算是比较腐朽的统治者，但他居然主动遣使北汉要求南北夹击宋朝，而且他的方案是出子午谷占领潼关以西的地盘，还把自己当诸葛亮了。
十一月，太祖集结兵马，一路由忠武军节度使王全斌为西川行营前军兵马都部署，武信军节度使崔彦进监军，率步骑三万出凤州道（今陕西凤县）；一路由江宁军节度使刘光义为西川行营前军兵马副都部署，枢密承旨曹彬监军，率步骑二万出归州道（今湖北秭归）。后蜀虽然占尽地利，但毕竟没有诸葛亮，在宋军面前完全是废柴，几下就被打趴下。北路军王全斌在攻克剑门时斩首万余级，蜀军本就对胜利不抱太大希望，此后更是心理完全崩溃。不多时宋军会师成都，孟昶直接宣布投降，前后一共只用了66天时间。由于北路军主帅王全斌采取了残暴恐吓战术，在成都一次性杀降27000人，激起了蜀中军民极大愤慨。平定四川后王全斌、崔彦进等人昼夜宴饮，纵容士卒劫掠，百姓苦不堪言。当年四川就爆发了上官进、全师雄等人领导的蜀兵和群众起义，杀死宋军先锋都指挥使高彦晖，斗争了三年才被宋军镇压。鉴于此宋太祖将大屠夫王全斌、崔彦进降职，并大力整顿军纪，才使四川这个富饶的大后方稳定下来。相比之下，东路军在儒将曹彬的监督下，始终保持军纪，不滥杀掠夺。
曹彬的仁者气度受到太祖的高度重视，逐渐委以重任，并树立为宋军的典型，逐渐消除了宋军的戾气，成为一支威武之师、文明之师，其实这正是宋军有别于前代，开始走出五代桎梏的关键一步。后蜀搞定后宋廷将目标又对准南汉。南汉曾名大越国，但由于是刘姓人士建立的国家，所以又改国号为“汉”，定都广州，主要势力范围是岭南两广。那时候珠江三角洲还不是改革开放的最前沿，而是烟瘴重生的蛮荒之地，并不发达，主要是天遥地远路难行、没人理他，所以才偷生到现在。不过宋朝要统一天下，他世外桃源的日子也就到头了。当时南汉的皇帝刘■，史称南汉后主，不但腐朽，而且非常残暴，境内人民起义不断，其中一位人物名叫张遇贤的值得一提。您可能没听说过他，但他确实很有前瞻性的首次使用了一个人类历史上最强大的年号：永乐。所以南汉也算是培养了一位永乐大帝，可聊以**。可能这位永乐大帝是南汉的骄傲，舍不得杀，后来是跑到南唐地界才被南唐捕杀的。宋太祖先礼后兵，请南汉小国主动投诚，但是刘■认为自己有岭南地利，还有秘密武器战象，拒不投降，斩杀投降派大臣，决心顽抗。
开宝三年（公元971年），宋廷以潭州防御使潘美为贵州道兵马行营都部署，朗州团练使尹崇珂副之，道州刺史王继勋为都监，率十州兵进讨南汉。潘美首先围困贺州（今广西贺县），南汉援军急至。潘美佯装撤退，南汉军不知死活，以为潘美怕了，竟然来追击，自然中了埋伏，全军覆没。潘美再至贺州，轻松攻克。之后宋军经过比较艰难危险的山地行军，连克数州至韶州（今广东韶关）。南汉国竟无人想到在此途中伏击，放任宋军走出崇山峻岭，来到平原。这时南汉军才抛出他们的秘密武器——战象，妄图借此抵抗天威。可惜他们又不懂得正确使用，而是正面强行冲锋，结果这些庞大的移动标靶被强弓劲弩射得血肉模糊，潘美轻松攻克韶州，广州已经完全暴露。刘■孤注一掷，集结15万大军在广州城北以木竹为栅，准备抵抗宋军。潘美见后哈哈大笑，只待一天北风起，召集数千民夫，皆双手持炬，趁天黑投入南汉军营。火借风势，烧得南汉军哇哇乱叫，宋军趁机进攻，斩首数万。歼灭南汉主力部队后，潘美轻松攻入广州，生擒刘■。一些人啸聚海岛继续抵抗，宋太祖暂以潘美知广州兼市舶司，旋即讨平，岭南平定。