行不数步，神雕回过头来，突然伸出左翅在马腹上一拍。那马吃痛，大声嘶叫，倒退几步，不住跳跃。杨过点头道：“是了，我既到雕兄谷中，也不必再出去了，要这马何用？”心想此雕大具灵性，实不逊于人，于是松手放开缰绳，大踏步跟随神雕之后，他重伤之余，体力衰弱，行不多时便坐下休息，神雕也就停步等候。
如此边行边歇，过了一个多时辰，又来到剑魔独孤求败埋骨处的石洞。
杨过见了那个石坟，不禁大是感慨，心想这位前辈奇人纵横当时，并世无敌，自是武功神妙莫测，瞧他这般行迳，定是恃才傲物，与常人落落难合，到头来在这荒谷中寂然而终，武林之中既没流传他的名声事迹，又没遗下拳经剑谱、门人弟子，以传他的绝世武功，这人的身世也真可惊可羡，却又可哀可伤。只可惜神雕虽灵，终是不能言语，否则也可述说他的生平一二。
他在石洞中呆呆出神，神雕已从外衔了两只山兔回来。杨过生火炙了，饱餐一顿。
如此过了多日，伤口渐渐愈合，身子也日就康复，每当念及小龙女，胸口虽仍疼痛，但已远不如先前那么难熬难忍。他本性好动，长日在荒谷中与神雕为伴，不禁寂寞无聊起来。
一日，杨过回眼看着右臂断折之处，想起郭芙截臂之恨，不禁热血涌上胸间，心道：“这丫头自恃父亲是当代大侠，母亲是丐帮帮主，自来不把我放在眼□，自小我寄居她家，不知受了她多少白眼，多少折辱？我谎言欺骗武氏兄弟，其实也是为了她好，倘若武氏兄弟中有一人为她而死，岂非也是她的罪过？哼哼，她乘我重病之际斩我一臂，此仇不报，非丈夫也！”
他向来极重恩怨，胸襟殊不宽宏，当日手臂初断，躲在这荒谷中疗伤，那是无可奈何，此刻臂伤已愈，报仇雪恨之念再也难以抑制。
当下心念已决，连夜回到山洞，向神雕说道：“雕兄，你的大恩大德，终究报答不了，小弟在江湖上尚有几桩恩怨未了，暂且分别，日后再来相伴。”说着深深一揖，又向独孤求败的石冢拜了几拜，掉首出谷。那神雕直送至谷口，一人一雕搂抱亲热了一阵，这才依依而别。当即施展轻功，直奔襄阳。
到得城外，天色未晚，忽见一美貌少女匆匆骑马进城，马上少女唇若涂朱，眉如染黛，正是郭芙。杨过乍见之下，心中不知是怨是恨，呆在原地愣了良久，心中才恨恨地想：“好啊，我在路边立着，都不肯看一样，果然认为我死了，再回不来了！”当下便施展轻功，到了郭府门外，悄悄越墙而进。
路过花园，望见郭芙抱膝坐在花丛边的太湖石上，一言不发地看着天上的月亮。杨过忙躲在树后，心道：“老天开眼，你一个人落了单，再无人能护你，我现下上前也斩去你一臂。”转念一想：她此时虽是一个人，但郭靖黄蓉尚在府里，自己若贸然出手，即便自己报了仇，也难以全身而退。
举棋不定时，见一个小丫鬟快步走到郭芙跟前，说道：“大小姐，老爷让你先回房去……”郭芙只不理，问道：“我爹还不肯见我么？”小丫鬟回道：“老爷说，想见大小姐时自然会见……”余下的几个字渐渐不可闻。见郭芙仍然不动，丫鬟又道：“已打过二更啦，大小姐请安睡吧！”郭芙哼了一声，道：“我睡的着时自然会睡，你走吧。”丫鬟应是而去。
杨过心道：“这大小姐果然刁蛮，她爹不肯见她，拿丫鬟出什么气。”耳内又听得郭芙幽幽的一声长叹，眼见她低垂着头，月光下，一颗晶莹的泪珠闪过，滴在郭芙的手上。杨过不禁有些慌张，暗中揣测：“你哭什么，你断我一臂，难道还受了委屈不成？”又猜到：“难道她是觉得对我不住，所以才难过落泪？”想到这里，心砰砰直跳，随即又记起襄阳城外之事，否定自己：“这大小姐平时就眼高于顶，现下我成了断臂怪人，她更加不把我放在眼里了，她多半是在想她的妹妹，再不然就是会奉承她的武家兄弟！杨过呀杨过，你与这丫头有断臂之仇，怎可自作多情，可怜可笑！”念头至此，心中恨意陡升：“我大声叫嚷，将郭伯伯叫来。我先将他打败，再处置他女儿。便是败给郭伯伯，男儿汉光明磊落，再也无人能笑话我一句。”心中热血潮涌，正要从树后转出，忽见郭芙起身，盈盈往郭靖夫妇居室而去，杨过忙随后跟上。
杨过躲在窗下，只听黄蓉大声说道：“这两人明明是抱了襄儿前去绝情谷，想换解□□物，你口口声声还说杨过是好人？这孩子生下不到一个时辰，便落入了他们手中，这时还有命么？”说到这里，语声呜咽，啜泣起来。
郭靖说道：“过儿决不是这样的人。再说，他累次救我救你，咱们便拿襄儿换他一命，那也是心甘情愿。”黄蓉泣道：“你情愿，我可不情愿……”
这时室中突然发出一阵婴儿啼哭，声音甚是洪亮。杨过大奇：“难道那小女孩已从李莫愁手中抢回来了？怎么她又说『这时还有命么』？”屏住呼吸，凑眼到窗缝中张望，只见黄蓉手中果然抱着一个婴儿。那婴儿刚好脸向窗口，杨过瞧得明白，但见他方面大耳，皮色粗黑，脸上生满了细毛。那女婴郭襄他曾在怀中抱过良久，记得是白嫩娇小，眉目清秀，和这壮健肥硕的婴儿大不相同。黄蓉背向窗口，低声哄着婴儿，说道：“好好一对双胞胎，你快去给我找他姊姊回来。”杨过恍然大悟，才知黄蓉一胎生下了两个孩儿，先诞生的是女婴郭襄，其后又生一个男婴。当生这男婴之时，女婴已给小龙女抱走。
郭靖在室中踱来踱去，说道：“蓉儿，你平素极识大体，何以一牵涉到儿女之事，便这般瞧不破？眼下军务紧急，我怎能为了一个小女儿而离开襄阳？”黄蓉道：“我说我自己去找，你又不放我去。难道便让咱们的孩儿这样白白送命么？”郭靖道：“你身子还没复原，怎能去得？”黄蓉怒道：“做爹的不要女儿，做娘的苦命，那有甚么法子？”
杨过在桃花岛上和他们相聚多年，见他们夫妇相敬相爱，从来没吵过半句，这时却见二人面红耳赤，言语各不相下，显然已为此事争执过多次。黄蓉又哭又说，郭靖绷紧了脸，在室中来回走个不停。
过了一会。郭靖说道：“这女孩儿就算找了回来，你待她仍如对待芙儿一般，娇纵得她无法无天，这样的女儿有不如无！”黄蓉大声道：“芙儿有甚么不好了？她心疼妹子，出手重些，也是情理之常。倘若是我啊，杨过若不把女儿还我，我还他的左臂也砍了下来。”
郭靖大声喝道：“蓉儿，你说甚么？”举手往桌上重重一击，砰的一声，木屑纷飞，一长坚实的红木桌子登时给他打塌了半边。那婴儿本来不住啼哭，给他这么一喝一击，竟然吓得不敢再哭。
便在此时，杨过见西首窗下郭芙身形一幌，接着矮了身子，快步退开。杨过心想：“且去瞧瞧这大小姐要去干什么。”当下蹑足于郭芙婀娜身形之后。突然身后一暗，房内灯火熄灭，听黄蓉气忿忿地道：“你出去罢，别吓惊了孩儿！”
杨过当即钻到假山之后，快步绕到郭芙房外，一跃蹿高，上了她房外那株花树，躲在枝叶之间。
从茜色窗纱向里面看，只见郭芙在翻箱倒柜地寻找什么，不一会，郭芙从房内快步而出，手里拎着一个不大的包袱。她略略迟疑，回身看了看房间，又返回房间，在首饰匣中翻出一小小饰物收进袖囊中，才又出来。杨过一肚子好笑：果然是个草包千金，离家出走也不忘戴自己的金银珠宝。
此时郭靖脚步沉凝而来，见郭芙正在院中，奇道：“芙儿，你在干什么？”郭芙脚步顿立，低低地应了一声，声音里微带颤抖。待郭靖看清女儿身后背负的包裹，脸色顿时难看起来，强抑怒火道：“这些时候你到哪里去啦？”郭芙道：“我……我伤了杨大哥，怕你责罚，因此……因此……”郭靖道：“因此出去躲避几天？”郭芙咬着嘴唇，点了点头。郭靖又问：“那现在呢？你拿着包袱准备躲一辈子了？”郭芙抬起头，道：“不，我要去找杨过！”
这一句回答倒令郭靖和树上的杨过同时惊诧，半晌无言。好一会，郭靖才道：“芙儿你跟我来罢。”郭芙忙跟上郭靖，杨过稍一迟疑，仍蹑手蹑脚地跟在父女俩后面，向郭府最后面的屋子走去。