为讨伐北京的北洋政府，孙中山南下广州开展护法运动。广州军政府于1920年11月建立。1921年4月7日，孙中山于广州召开国会两院非常会议，林森任会议主席主持了会议。会议决定废除军政府，通过《中华民国政府组织大纲》，并选举孙中山为非常大总统。
5月5日，孙中山在广州就任中华民国非常大总统一职，并发表就职宣言和对外宣言。他在对外宣言中表示：“列强及其人民依条约契约及成例，正当取得之合法权利当尊重之。”对国内天然资源的开发主要实行“开放门户主义，欢迎外国之资本及技术”的政策，希望各国承认广州政府“为中华民国惟一之政府”。
5月6日，孙中山任命国务院各部长官。伍廷芳被任命为外交总长，唐绍仪为财政总长，陈炯明为内政总长兼陆军总长，汤廷光为海军总长，李烈钧为参谋总长，徐绍桢为总统府参军长，马君武为总统府秘书长。随后，孙中山命陈炯明出师北伐。陈炯明为扩大自己的势力，反对北伐。1922年3月至6月，陈炯明在北伐军进军的路上发动兵变，围攻广州总统府，炮击孙中山住所。孙中山登舰于海上指挥平叛。此次事件，忠实于孙中山的蒋介石表现积极，增加了孙中山对蒋介石的信任，为其以后的发迹奠定了基础。孙、陈双方激战50多天。后孙中山因势单力薄，不敌陈炯明，8月初乘英舰去了上海，继续为革命奔走呼号。
