还在新婚中的赵匡胤离开了家，为谋取前途而闯荡天下。最终，他投靠了郭威，当时的他怎么也不会想到，投靠的人很快就要成为皇帝，而自己也将成为皇帝。
在王朝频频更替、一家人随着丈夫职务的变迁四处迁徙的日子里，杜氏由一个殷实人家的小姐逐渐变为一个性格坚毅有胆识见解的成熟女人，她治家严谨循礼，对儿女的教育也很上心。不过作为军人之妻又身在乱世，她的教子方式当然与读书人的方式大有不同。
赵匡胤的文化课学得不怎么样，但生来胆大心细爱冒险，骑射本领非同凡响。怎样的烈马他都不惧惮。也亏了他命大，有一次驯马的时候马使性子在城楼的斜道上狂奔，一撩蹶子将他远远地甩了出去，先是撞上城楼门楣，又重重地摔落在地上。旁观的人都魂飞魄散，认为赵匡胤不但死定了，而且肯定脑袋都要撞碎。谁知他却毫发无损地站了起来，不但毫无惧色反倒性气更足，发力追上烈马纵身腾上，非要将马驯服不可。胆量如此之大，别说围观的人，就是那匹马，都要判个服字给他了。
做为母亲，杜氏对于赵匡胤近乎莽撞的胆大忧心忡忡，决定尽早给他完婚成家收收性子。
后晋开运初年（公元944），十七岁的赵匡胤在父母的安排下完婚了。迎娶了赵弘殷的护圣营同僚贺景恩十六岁的女儿为结发之妻。
赵匡胤成婚这年，三弟赵匡义还不满六岁，才刚是启蒙的年龄。年龄虽小，赵匡义的脾性却已经初见端倪。无论是兴趣爱好还是性格，这个小孩子都与他的哥哥大相迳庭。赵匡胤好武善骑射，还很能交朋友，性情豁达，颇有些江湖习气。赵匡义却不然，他和同龄的孩子游戏时，其它孩子都会不知不觉地对他心生畏服之情，不敢对他呼呼喝喝。赵匡义还嗜好读书。出身行伍的赵弘殷对于自己竟也能生出个会读书的儿子，感到非常欣慰。到后周时期，他外出征战时，对各地金银财宝分毫不取，只是专心搜求各类古籍善本带给赵匡义，赵弘殷夫妇还时常察考儿子的读书成绩，在父母的严格督促下，赵匡义不但学识渊博，而且还多才多艺、很有智谋。
年幼的弟弟既然“读万卷书”，做哥哥的赵匡胤便打算“行万里路”了。大约在后汉乾佑元年（公元948）前后，二十一岁的赵匡胤离开父母弟妹和成亲才三四年的妻子贺氏，开始了长达两年的游历。
实际上并不是赵匡胤自己存心要“志在四方”，真正的原因还在于那个乱纷纷的世道。
赵家的一家之主赵弘殷是靠了后唐庄宗李存勖的赏识进入仕途的，然而没几年李存勖就被人杀死，随之后唐朝廷内斗不断，后晋后汉又陆续有来，在这样的大形势下，赵弘殷相当一段时间以来官运平平，一家人的生活也大不如前。赵匡胤眼见这样的情形，便打算自己外出闯荡以求取功名。
刚开始的时候赵匡胤把事情想得很简单，以为还可以靠父亲的老关系找到门路得到重用。然而事实却是到处碰壁。漫无目的的游历让年青气盛的赵匡胤吃尽了苦头。有一次他来到复州(今湖北省沔阳县西北)，想投靠父亲的老同事、时任复州防御使的王彦超。谁知王彦超并不买帐，总算还留了三分情面，用十贯钱打发他走人。无可奈何的赵匡胤只得冒着风雨重新上路。（王彦超怎么也不会想到，仅仅过了十年，赵匡胤便当上了宋朝开国皇帝宋太祖。王彦超才干品行过人，宋太祖对他甚是礼遇重用，但是看到他时难免总会想起旧事，终于忍不住在某一次借着酒劲发问：“卿昔在复州，朕往依卿，何不纳我？”打赵匡胤当皇帝那天起，王彦超恐怕就早已经想到这位赵世侄终会有按捺不住的一天了，他的反应非常敏捷，回答得成竹在胸：“浅水岂能藏神龙耶，当日陛下不留滞于小郡实乃天意也!”赵匡胤听后心情大好，也就不再追究下去了。）
类似的事情肯定发生过不止一次，或者有些人的反应还不如王彦超。饱尝人情冷暖的赵匡胤始终没有碰到任何机遇，盘费却已将磬净。走到襄阳地方时，为省些住店银子，他便往寺庙求宿。于是他时来运转的契机到了。
在这座不知名的小庙里，赵匡胤遇到了一个精通术数的老和尚。老和尚刚一见这个满面风霜的青年便认定他绝非凡品，不但主动馈赠盘缠，还指点迷津道：“北往则有遇矣。”赵匡胤遵嘱而行，北上邺都，正赶上后汉枢密使郭威奉命征讨李守真，在此招兵买马。他就投到了郭威的麾下。
此刻的赵匡胤，最大的兴奋点也许只不过是终于能够安顿下飘泊已久的身子，他不会想到，自己投靠的人即将由枢密使成为皇帝。而枢密使郭威也同样不会想到，这个自己麾下的小兵将在若干年后成为皇帝，他更不会想到，自己将面临一次惊心动魄的惨祸。