就在绿林、赤眉起义席卷全国的时候，有一批没落的贵族和地主、豪强也乘机起兵造反。
南阳郡舂陵（今湖南宁远北）乡的汉宗室刘縯、刘秀两人怨恨王莽废除汉朝宗室的封号、不许刘姓人做官的做法，发动族人和宾客七八千人在舂陵乡起兵。他们和绿林军三路人马联合起来，接连打败了王莽的几名大将，声势越来越强大。
绿林军将士们认为人马多了，必须推选出一个负责统一指挥的首领，这样才能统一号令。一些贵族地主出身的将军利用当时有些人的正统观念，主张找一个姓刘的人当首领，这样才能符合人心。于是，舂陵兵推举刘縯，可是其他各路的将领都不同意。经过商议，众人立了破落的贵族刘玄做皇帝。
公元23年，刘玄正式做了皇帝，恢复汉朝国号，年号“更始”，所以刘玄又称更始帝。更始帝拜王匡、王凤为上公，刘縯为大司徒，刘秀为太常偏将军，又封了其他的将领。从此，绿林军又称为汉军。
