西漢末年王莽篡位，驕奢淫逸，民不聊生，很快就失去了民心。各路豪杰和農民起義軍紛紛興起，與王莽政權斗爭。這其中就有劉績、劉秀兄弟參與領導的起義軍，他們打出匡復漢室的旗號，擁立族兄劉玄為帝，號更始帝。但是劉績、劉秀兄弟威名日盛，越來越受人愛戴，引起劉玄的不安，一些依附劉玄的將領們開始勸劉玄除掉劉績、劉秀兄弟。

　　這時劉績手下的一些人不服劉玄當皇帝，就公開拒絕劉玄的任命，有的人還說：“本來起兵圖大事的是伯升(劉績字伯升)兄弟，現在的皇帝是干什么的?”于是劉玄就借封劉績部將劉稷為抗威將軍而不受之故，把劉稷及為他說情的劉績殺掉了。

　　劉秀擔心劉玄下一步要對付自己，就趕緊到宛城請罪。劉績的部下去迎接他，慰問他，他只是在公開場合下寒暄幾句，表示過錯在自己。但他不與這些人私下交流，不講昆陽的戰功，不為哥哥服喪，飲食言笑與平常一樣，若無其事。劉玄見劉秀沒有反對他的意思，感到有些慚愧，就拜他為破虜大將軍，封武信侯。但劉秀每當獨居，總是不喝酒、不吃肉，以此寄托哀傷。就這樣，表面上他順從劉玄，暗地里卻開始謀劃大事，準備為兄長報仇。

　　公元23年9月，劉玄的軍隊相繼攻下長安和洛陽。劉玄打算以洛陽為皇都，便命劉秀先行前往整飭吏制。劉秀到任，安排僚屬，下達文書，從工作秩序到官吏的裝束服飾，全恢復漢朝舊制。當時，關中一帶的官員趕來迎接皇帝劉玄去長安。他們見到劉玄的將領們頭上隨便包一塊布，沒有武冠，有的甚至穿著女人衣裳，滑稽可笑，沒有莊重威嚴的樣子，但劉秀的僚屬卻是儀容整齊。一些老官員流著淚說：“沒想到今天又看到了漢朝官員的威儀!”他們紛紛對劉秀產生敬佩心理。