南唐是各个割据势力中相对最强大的一个，周世宗攻取淮南已经大大伤了他的元气。中主李璟崩后其子李煜继位，史称南唐后主，文学史上又称李后主。李后主没想过富国强兵抵御宋朝，而是百般讨好并大肆贿赂宋太祖和赵普等人，只求保证其割据江南的地位，这显然是很不现实的。开宝七年（公元974年），宋廷以宣徽南院使、义成军节度使曹彬为西南路行营马步军战棹都部署，山南东道节度使潘美为都监，颍州团练使曹翰为先锋都指挥使，率10万大军进讨南唐。发兵前，宋太祖专门召集几位主将告诫：“城陷之日，慎无杀戮。设若困斗，则李煜一门，不可加害。”曹彬与李汉琼、田钦祚等将率水军从江陵（今湖北荆沙）顺江而下，潘美与曹翰、刘遇等率陆军继行。南唐的忠臣良将刘仁瞻、张彦卿都已故去，剩下一个林仁肇为宋太祖所忌惮。于是宋太祖略施小计，在东京营造了一座大庭院，在内室挂了一幅林仁肇画像，并悄悄告诉南唐使者说林将军已经归降大宋，这就是留给他的宅子。
这种拙劣的小伎俩可能连净坛使者都很难骗得到，但李后主认为有画像作证，便杀了林仁肇，使宋军唯一的忌惮自动消失。这下宋军顺江东下，所向披靡，摧毁唐军所有水砦和战舰，只用一个月就兵临采石矶。采石矶位于今安徽马鞍山，又名牛渚矶，与岳阳城陵矶、南京燕子矶并称为“长江三大矶”，均是突兀江中，绝壁临空，扼据大江要冲、水流湍急的险要之处，自古为兵家必争之地。采石矶是南唐国都金陵（今江苏南京）的水上屏障，凡欲从水路攻取金陵者，必先破此砦，当然这也是南唐重兵把守的战略要塞。由于采石矶确实易守难攻，唐军又精于水战，宋军一时也无法攻克，唐军渐渐有所懈怠，此时宋军的秘密武器出现了。樊知古，原名樊若冰，本是南唐人士，但在南唐郁郁不得志，每天在采石矶钓鱼，实际上是在测绘当地的水文资料。虽然《孙子兵法》中有专门的《用间篇》，中国的军事家历来也很重视谍报工作，但在明太宗（永乐大帝朱棣）设立正规的特务情报部门之前，反间工作仍然是很原始的，所以他这种并不高明的间谍行动居然得逞。
后来他带着这些重要情报资料投奔宋朝，并建议据此修建浮桥攻取采石矶。宋太祖采纳他的建议，授予舒州军事推官职务，带领工程部队在贵池（今安徽桐城）李阳河试造浮桥。宋军受阻于采石矶时，樊知古预制浮桥部件完成，来到采石矶开始正式工程作业。宋代以前长江中下游是修不起桥的，唐军在南岸看到宋军居然在长江天堑上搭造浮桥，哈哈大笑，认为曹彬是在儿戏，没有提高防备。但樊知古其实是根据采石矶的实际水文资料预制好的浮桥，此时只需移至采石矶以CKD方式组装既可，三天就搭造好。唐军发现为时已晚，宋军迅速通过浮桥，攻占采石矶。随后宋军从水陆两路合围迅速包围金陵，这时李后主连忙派使臣向宋太祖求饶，答应只要退兵，可以给很多钱。宋太祖答了一句名言：“不须多言,江南有何罪,但天下一家,卧榻之侧岂可许他人鼾睡？”李后主终于断绝幻想，整军抵抗，当夜派数千军呐喊着杀出城外，却大败而回。宋军紧紧围住金陵，昼夜攻打，主将曹彬始终牢记宋太祖不可滥杀的戒律，每次攻城最急时都故意放缓，企望李后主能够主动投降，减少伤亡。最后城破之势已成，李后主还没投降，曹彬却突然称疾。
众将士忙问何疾，曹彬道：“其实我身体没病，而是心病。我想起我军攻打四川时杀戮甚众，心里难受得很，恐怕金陵城破，你们又要杀戮，于心何忍啊！我这病用药是治不好的，只要你们诚心立誓，城破之时不妄杀一人，我自然就好了。”众将连忙焚香立誓决不妄杀，第二天曹彬的“病”就好了，第三天就破城。李后主带着文武百官来到曹彬军门前请罪投降，曹彬非常有礼貌地接待了他，南唐平定。李后主此人做皇帝是渣级，做词人却是骨灰级，是宋词史上第一位大师。王国维在《人间词话》中认为：“花间派”虽然词句华丽，但却空洞无物，算是创造了宋词的骨架，而没有魂魄。而到李煜，词才开始进入意境，华丽的骨肉被赋予了深邃的灵魂，开启了光照千秋的宋词文学。所以，虽然李后主为人浮华，不勤政事，完全不是一个合格的皇帝，但其在文学史上的崇高地位同样不容抹杀。至此，大宋从占据中原出发，相继平定湖南各割据政权、四川的后蜀、广东的南汉、江南的南唐，西北领主折氏、李氏内附，福建的吴越国王钱俶、清源军节度使陈洪进等人势力微弱，一直归附于宋，后来太宗朝正式纳土，现在就只剩下最后一个割据势力北汉了。