汉孝哀帝建平、元寿年间，在汝南郡南顿县一座还算可以的宅子内，时常可以见到年纪不大的兄弟三人在堂下正襟危坐，听堂上父亲严肃地给他们讲道：“孝景皇帝生长沙定王发，发生舂陵节侯买，买生郁林太守外，外生巨鹿都尉回，回即汝等祖父也，切记！切记！”
堂上之人是南顿县的县令刘钦，堂下的兄弟三人是他的儿子，按长幼排序分别是长子刘縯(字伯升)，次子刘仲(这个大概不是真名，仲只是说明他排行老二)，小子刘秀(字文叔)。另外，刘钦还有三个女儿：刘黄、刘元、刘伯姬。刘钦提到的巨鹿都尉刘回，就是他的父亲，也就是三兄弟的祖父。以上这段话是兄弟三人懂事之后已经听得耳朵生茧的唠叨，这既是他们刘家引以为傲的族谱，也可以说是兄弟们的启蒙教育。
虽然自小被教导家里有辉煌的家族史，但这并不能给兄弟三人带来多少实际上的好处，只是能和同龄人显摆。每次和小伙伴们起争执，刘家兄弟辩不过时，最后总是面红耳赤地叫嚷“吾祖上乃长沙定王”，然后说其高祖又是谁、曾祖又是谁、祖父又是谁。此话一出，小伙伴们不再言语，刘家兄弟便得以胜利者的姿态昂首离开。可当他们走远，总能似有似无地听见有人在背后嘀咕：一代不如一代。
这话极大地刺激了刘家三兄弟的心，尤其是年纪最大的刘縯，使他很早便在心里发下宏愿：一定要光复刘家的门楣。
理想很好，可现实总会给人当头一棒：平帝元始三年(公元3年)，刘钦病故。虽然父亲在世时是个县令，但南顿并非大县，县令的俸禄不过八百石左右，而他们刘氏家族少说也有好几十口人，日子过得肯定和“阔绰”二字沾不上边。但不管怎么样，刘钦毕竟是家中的顶梁柱，现在他不在了，就意味着刘家进入了最艰难的时期。
依照国人的习俗，人死后总希望能入土为安，于是兄弟三人在大哥刘縯的带领下离开南顿县，将父亲的灵柩送回了老家南阳郡蔡阳县舂陵乡。这一年，兄弟中最小的刘秀虚岁只有九岁。
回到舂陵老家，三兄弟都感到一种久违的熟悉感，毕竟他们以往一直跟在常年在外为官的父亲身边，没在老家正经待过多少日子，“故乡”对他们而言或许只是一个词语、一个概念而已。虽然舂陵乡有很多刘家同宗同族的亲戚，他们兄弟也算不上“少小离家老大回”，可依然必须面对在舂陵的家庭安置、邻里关系的处理等种种不适应。
但不管如何不适应，操办完父亲的丧事，兄弟三人都得为以后的生活做打算。传说刘秀出生的时候红光满堂，整个房间都被照亮，是三兄弟里命最好的一个，但他毕竟年纪不大，而俗话说“长兄如父”，既然父亲已不在，大哥刘縯不得不担起支撑整个家族的重任。
这时候，刘縯的年纪也不大，满打满算勉强刚二十岁，可他不愿意让刘家就此沉寂下去。眼见当时社会处于崩溃的边缘，皇帝刘衎只剩下个名号，王莽实际上已经掌握朝廷所有的权力，刘縯估计，长此以往，朝廷必然生变，于是他决心私底下为日后的天下大乱做一些准备。或许是为了让年幼的刘秀摆脱干系，也可能是实在顾不上照顾他，没等刘秀安定下来，认全老家附近的乡亲、邻居，刘縯便把他带到萧县交给叔父刘良抚养。
同哥哥刘钦一样，刘良也是个县令，大概同是受“刘氏宗亲”这个牌子的眷顾。当然，刘肯把刘秀寄养在叔父家，可能也是看中当时叔父家庭条件好，因为刘良这个县令当得还是蛮滋润的，毕竟他上头有人——王莽的亲信、将军严尤是刘良的故交，两人私交甚笃(日后听闻刘秀起兵时，刘良甚至还拿严尤的名头诈唬过刘縯、刘秀兄弟)。
之后刘秀便和两个哥哥分别，在叔父家住了几年。刘良对自己哥哥的这个小儿子非常不错，甚至可以说是“视同己出”，但他似乎刻意要把刘秀往寻常百姓上培养，并没教刘秀什么本事，只让他养成了爱摆弄农活儿的习惯，大概是希望刘秀能安分守己地过一生。
懵懂而美好的少年时光总是转瞬即逝，时间很快就到了始建国元年 (公元9年)，王莽终于忍不住宣布“顺符命，去汉号”，彻底扒掉刘家人身上的最后一块遮羞布，一时间惹得整个刘氏宗室哀号一片。当然，主要不是因为王莽篡了皇帝之位，而是因为始建国二年(公元10年)新皇帝王莽宣布夺去刘家宗亲们的爵位，将其全部划归庶民。
在这个大环境下，刘良顺理成章地丢了官。刘秀毕竟只是寄养，而非过继给叔父，以前刘良做县令时，家里人口多一个少一个，吃穿用度都不成问题，现在刘秀自己已不好意思再留下混饭吃。于是，刚进入青春期不久的刘秀再次回到了陌生的家乡舂陵。
古代孩子多早熟，不比现在，好多都是三四十岁长不大的孩子。回到家里后，刘秀虽然没什么赚大钱的技能，可也知道每天起早摸黑地种地，摆弄庄稼，尽量替自己的哥哥分担家庭的负担。但刘秀的辛勤劳作并不被大哥看好，每次刘秀在地里忙活时与刘縯相遇，总免不了被大哥拿他和高皇帝刘邦那个不成器的二哥刘仲做比较，然后就是一顿奚落：“你小子就是个种地的货色。”
这话要是搁寻常兄弟间，大概也就被当个笑话听，然而刘秀年纪不大，心眼儿却不小：大哥把自己比作刘仲，那谁做高皇帝？再结合刘縯近年来的所作所为，刘秀敏感地察觉，大哥莫不是有志做高皇帝那般的事情？
有了这个判断，刘秀再也坐不住了。天凤元年(公元14年)，二十岁的刘秀决定去长安的太学学习。对于刘秀的动机，我们现在很难猜得到。那或许只是他自己的想法，毕竟日后如果真要做一番大事，目不识丁是绝难成大气候的；也可能是刘縯的主意，他之所以这样做，可能是为了支开刘秀，因为他已经决定要做一件大事。