平家退守赞岐（香川县）的屋岛，屋岛在四国的东北角。
“平家也真大胆！”京都的宫廷中人都这么想。
平家以屋岛为海上要塞，控制濑户内海，且采取射箭入大阪湾的姿势，涨满了回到京都的气力。
义经就是想毁灭这些。这个年轻人在出发以前，为了请假而前往院之御所。那天是文治元年（寺永四年）正月十日。
“他说甚么？”
在阶梯上御帘里的后白河法皇问左右。蹲在阶梯下沙地中的义经，声音非常小。
“他说要毁灭屋岛。”左右小声的说。
法皇很惊讶，他认为这是办不到的。
“我也了解这一点。”法皇慌忙的说。
法皇虽然没有军事经验，可是历经平治之乱中源义朝的战败、清盛的战胜，以及后来清盛或平家一门的战斗状况，加上木曾义仲的进驻京都等等，使他成为京都无人能及的军事通。
“义经想走在波浪之上吗？”他说。
没有海军力量，就要去进攻屋岛大本营，太卤莽了。而且，义经连陆军的军力都只有一点点。源氏的本军在山阳道西方极远处，饥荒和船舶不足不仅会使人失去战意，甚至连撤退的兵粮都没有。
“放弃屋岛吧！”法皇说。
要是义经死掉的话，将来就会失去可以与赖朝对抗的棋子。
可是，义经挥动盔甲的大袖子，好像蝉的翅膀似的，用一种很清澈的声音说：
“您虽然这么说……”
他的意思是“恕难从命”。他表示，今生的愿望就只是追讨平家，一雪亡父义朝的恨，除此之外，别无所求。这次出兵，虽然是要去屋岛，可是若讨伐顺利，别说是屋岛，就算要追平家到鬼界，他也在所不惜。
“那就没办法了！”法皇喃喃地说。
武家之子复仇心这么强，是东国异民族的风气吗？法皇很难理解。
那一天，义经从京都消失了。
“他该不会是认真的吧？没有船的话，连渡海都没办法。”
法皇后来对宠爱的侧近大藏卿高阶泰经说道。听说义经只率领一百五十名骑兵就走了。
“听说平家在濑户内海有船，光是在屋岛的大本营就有一万二千名士兵，那个年轻人连船都没有，只带着一百五十名骑兵，能干甚么呢？”法皇说。
正如预料，经过很多天了，完全没有义经进攻屋岛的消息。
——判官在渡边浦。
法皇听到这消息后，心想，他们大概是无法动弹吧！
渡边是个渔村，位于淀川下游大坂湾附近，是后世的大阪市。可是当时根本没有街道，只是个长满芦苇的低湿地。
现在的上野台地没有圆桶形的丘陵，若来到西麓，即现在的松屋町附近，就已经可以嗅到海水的味道，三寺筋附近是南北狭长的海岸，而西边的御堂筋附近已经是海了。渡边一带，是由摄津源氏渡边党人建立农场开拓出来的。他们的族人住在现在的天神桥、天满桥，很自然的，河岸附近也聚集了较多人口。
附带一提，渡边党和义经一支不同。义经的清和源氏出于清和天皇，而渡边党出于嵯峨天皇。嵯峨帝之子即以“河原大臣”之名广为人知的源融，是渡边党的第一代。后来，这个族党都是取单名，成为日本人单名的元祖。例如，融的儿子是升，接下来是仕、宛、纲（在王朝全盛期因大江山驱鬼而闻名的人物）、久、正、糺、弘、武、繁、悟。平治之乱时，悟附属于义经的亡父义朝，十分勇敢，兵败后自杀。
悟的儿子叫学，他只有一只眼睛。
学看到义经和他的骑兵队进入村子时，突然冲到路面上拉住义经的马，脸孔向左歪，睁大他的右眼直视义经。
“竟然是御曹司！”
他似乎故意装出惊讶的样子。
“为甚么来到我们这乡下地方呢？”他说。
（渡边学是个不好惹的家伙。）
义经的部下伊势三郎义盛经常对义经这样说。
摄津源氏的个性就是如此。在摄津国里，有以北摄津的山间部为根据地的多田源氏，以及大坂湾沿岸的渡边党两大武家势力，可是，不知是否因为渡边党的居住地较靠近京都，他们比较狡猾，且善于观望情势。
——学的弟弟及，归属在平家之下。
伊势对义经这么说时，是在去年一之谷作战前不久。渡边党两兄弟分属源、平两边，他们的如意算盘是不管哪一方毁灭，渡边党都会存活下来。后来，弟弟渡边及在一之谷遭到义经突击，被打死了。
义经命令渡边学去大坂湾的另一边，即比淡路岛更远的赞岐屋岛探听平家动静，而平常的联系，则透过当过强盗的伊势三郎。那一晚，义经接受了渡边党的欢迎款待。
“我打算进攻四国。”
在席上，义经说明目的。渡边学内心暗惊。
（以这么少的军队？）
学的脸上浮现浅浅的笑，然后问：
“预备军有多少人？”
“一千名士兵。”义经坦诚回答。
事实上，鎌仓的赖朝已命令当时驻守在播州（兵库县）的梶原景时去协助九郎。
梶原还没有到达渡边，而义经说的一千，就是梶原的士兵人数。
后来武藏房弁庆对他说：
“你太诚实了。”
依当时战争的习惯，己方军队的人数都要夸张成好几倍。如果有一千名士兵，就要对外宣称有一万名，否则敌人不会害怕，己方也不会心服，更别说对不知是否忠于源氏的渡边学了，更要大吹特吹才对！可是义经说：
“没关系！”
对义经来讲，把这些消息泄漏给渡边党，就等于是让屋岛的平家知道。如果说有一万名源氏士兵来袭，平家搞不好会往海上逃，若只有一千名士兵，平家一定会放心迎战。
“战争的事情就由我来处理。”义经说。
义经要求渡边学派侦查船去平家阵营，并聚集军船。
“我们渡边党只有像玩具竹叶船一般的小船。”学说。
事实上正是如此，渡边党的渔村以在大坂湾沿岸捕鱼为生，只有浅底小船。
可是，以从大坂湾起，往南到纪州，以及更南方的熊野为根据地的熊野水师，则有巨大的船，且有自称训练有素、全日本第一的水手。
“叫熊野水师来吧！”
这是义经对渡边学下的命令。
熊野水军的根据地是纪州田边，首领是熊野三山的别当湛增，这位半僧半兵的水军大将，从清盛时期就是平家的人。
这任务大约需要半个月才能完成。渡边学自己担任使者，武藏房弁庆与他同行协助。弁庆是湛增的庶子。
学和弁庆回来后，为义经带来了好消息。
“湛增很爽快的回答我们，要加入我方军队。”这是渡边学的回答。
可是，根据弁庆私下的叙述，湛增似乎不见得很爽快。他最初表示：
——这个嘛……
然后只是歪着头，并不回答。然而，湛增也知道，是否会博得源氏的好感，就看自己对这两个来使的态度热诚与否。对湛增来讲，近畿或南海道的武士很多都依附源氏，使他感到很焦急，可是，他也无法预测未来源、平哪一方会获胜。
于是，他寻求熊野权现的神的旨意。
——做白旗（源氏）的战友吧！
即使神意如此，湛增还是不放心，听说还拿斗鸡出来占卜，组成红（平氏）鸡和白鸡两组，配了七对互斗，结果七对都是白鸡获胜。
“那么，源氏会赢罗？”
他终于下定决心，叫来义经的使者，告诉对方自己愿意帮忙源氏，可提供军船两百艘。
另一方面，梶原景时也找来伊予（爱媛县）水军河野氏。听说河野氏认为平家没有希望，因而来依附源氏。他可以动员的军船约有五十艘左右。