公元962年，赵匡胤分派众将驻守北边和西北各州，以防御辽朝和北汉。西北既无后顾之忧，专力向南方进取，逐个地消灭了各割据国。
公元963年，赵匡胤派遣慕容延钊、李处耘带兵出征湖南，当年三月即平定湖南，并一举占领荆南，从而在军事上割断了后蜀、南唐、南汉之间的联系。公元964年，赵匡胤遣兵5万伐蜀，前后仅用几十天，后蜀孟昶上表请降。后蜀政权灭亡以后，赵匡胤又作了几年准备，于公元969年尝试北攻北汉。由于辽军的支援，宋军包围太原没有取得大的成功。于是，赵匡胤把兵力转向湖南南部的南汉政权，继续解决南方的割据问题。
南汉统治者刘鋹是一个凶暴而无能的角色。公元970年，宋军在潘美带领下进攻南汉，势如破竹。公元971年，宋军直逼南汉都城广州，刘鋹把金宝和妃嫔装载十几只大船，准备下海逃跑。宦官们趁机抢夺财宝，统治集团内部一片混乱。后来，刘鋹眼见逃命已不可能，一把大火将广州的宫殿府库全部焚毁，最后充当北宋的阶下囚。刘鋹被押解到汴京，南汉政权就这样崩解了。
平定南汉后，南方只剩下三个割据势力。其中，两浙地区的吴越国王钱镠和漳州、泉州地区的平海军节度使陈洪进早已听命于宋朝。南唐后主李煜见此情形，向宋朝上表，自动削去南唐国号，称江南国主。公元974年，赵匡胤命曹彬、潘美发兵10万伐江南。曹彬领军出发之前，赵匡胤嘱咐曹彬说：“两国交兵除了不可避免的伤亡之外，不准随便杀一个人。攻城、打仗要有耐心，最好是让他们自己投降。”曹彬自荆南发战舰东下，连败江南兵。
公元975年，曹彬大军到秦淮，江南水陆兵10万列阵城下。宋军涉水强渡，江南兵大败。李煜屈服求自保不成，急调驻守上江的朱令赟入援。朱令赟自湖口发兵15万援金陵（今南京）。兵到皖口，宋兵夹攻，朱令赟投水死。江南最后一支大军覆没，金陵旦夕可取。赵匡胤下令给曹彬：宋兵入城，不得杀掠。十一月末，曹彬在诸将发誓不对金陵进行洗劫之后，才下令攻进金陵。李煜被迫投降。至此，南唐亡，南方平定。
公元976年，宋太祖赵匡胤驾崩，其弟赵光义继位，是为宋太宗。宋太宗于979年率军北伐，灭北汉。至此，基本奠定了赵宋王朝的版图。
