林士弘离开莲花塘之后，带着亲兵扈从，昼伏夜出，沿着无人的苇荡、滩涂之地前进，终于到达长江边上。
这里隋军的势力难及，林士弘寻得船后，便立刻渡江南下,到达九江郡。
此时林士弘尚不知晓王戎已经投降隋军的消息，因为他刚到达九江，就被一个惊天动地的消息给镇住了。
林士弘的老巢豫章城丢了。
原本投降林士弘的盗匪张善安率部反叛，秘密投降萧梁，联合萧铣派出的大将苏胡儿攻取豫章郡，林士弘在豫章的将领或死或降，整个林楚小朝廷几乎是完全覆灭。
张善安是彭城郡方与县人,占据方与作乱。后来张善安在兖州地区被李凤阳打得站不住脚，遂一路南逃，流落江淮。不过张善安到了淮南地区也不安稳，他先是袭击并攻陷庐江郡，但之后为陈棱所击败，无法在淮南立足，遂带领旧部南下投奔林士弘。
林士弘身边之人都是江州诸郡本地人，所以他并不信任这个南来的北伧，先是让他在南塘扎营，之后又趁机夺取了张善安的兵马。
张善安纵横江湖多年，对手都是黄明远、李密这些人，本就看不起沐猴而冠的林士弘。于是他虽明着归顺林士弘，却暗地里联络萧铣。
萧铣本就有心江州诸郡，于是派遣苏胡儿来援。此时林士弘倾巢而动，主力而至淮南，国中空虚，于是在张善安的带领下，苏胡儿长驱直入，兵临豫章。
镇守豫章的林震死守,但林震本身能力一般，先是让张善安烧毁外城，接着又被击破内城。林震兵败，只得逃至余干县。
苏胡儿占据豫章郡，张善安也趁机南下，占领了庐陵郡，并自领吉州总管。
至此，整个江州地区的一大半完全落入苏胡儿、张善安二人手中。而鄱阳郡素来是操家人的势力地盘，南康、临川二郡为梁军阻隔，情况难料，到现在林士弘手中，就只剩下九江一郡了。
面对这种结果，林士弘甚至都想死在江北，也好过现在。
林士弘暗暗想着自己的处境，他决定还得要夺回豫章。
首先他现在所在的九江郡，并不是一个根基之地。九江郡地辖二县，人口不过七八千户，西通荆襄，东至江淮,乃是四战之地。
而且隋军不知何时就会南下,现在九江郡的兵力不足万人,没有后援，根本不是隋军的敌手。
他要是不投降，就非得南下不可。
其次林士弘并不是很相信唐野。
唐野是楚军第一大将，但他原来是操师乞的部下，并不比林士弘地位低。而且唐野和操天成关系很好，虽没有支持对方，但也护着对方。
此时林士弘手中不过数百人，一旦待在九江，就完全至于唐野的手中。即使唐野忠心，难保其部下没有野心，拿主上的人头到对手那里换个前程的事还少吗？
而且林士弘想从唐野手中夺取这支部队的军权，若是继续待在九江，则完全没有可能。
唐野也觉得九江不可守，又听闻隋军攻破彭泽县的消息，遂同意了林士弘的南下之策。
林士弘在九江大肆搜刮一番之后，带着九千余人一路南下，大军经建昌县转道鄱阳（治今江西省鄱阳县东北古县渡）。
林士弘本准备前往鄱阳郡，招抚操家，可还没赶到，便遇到惶惶然南逃的操天成，这时他才得到消息，从宣城郡来的隋军突袭鄱阳，操天成不备，将鄱阳郡给丢了。
林士弘大惊失色。鄱阳可不同其他地方，这里是操师乞和林士弘的老家，整个楚军内部，其高级将领多是鄱阳人。
而且林士弘准备前往临川，今鄱阳丢失，临川空门大开，亦不可保矣。
林士弘此时已经不敢再往临川郡了，谁知道半路会不会遇到隋军。
四面八方，俱是敌人，林士弘感觉天都要塌了一半，有些不知所措。平日里身边还有一个王戎可以咨询，可现在连王戎也没了。
林士弘一夜没睡，到了第二日天明，他决定召回逃往余干县的林震，立刻攻打豫章城。
豫章从两汉时期就一直是江州诸郡的首府，其地位就像长沙之于荆南，成都之于巴蜀，山阴之于浙东，番禺之于岭南一般，政治意义重大。
只有夺回豫章城，他才能重新号令江州诸郡，然后和萧铣谈判，联合萧铣，抵挡大隋。
很快林震给林士弘带来了一万多的军队，让林士弘的实力大增。
之前林震兵败豫章，并不是实力不济，而是因为张善安的反水，导致城中混乱。张善安又放火烧城，林震心中惶恐，不清楚梁军实力，这才冒失地作出了放弃豫章的决定。
林震到达余干县之后，收拢军队，实力并未损失太大。
林士弘结合唐野、操天成、林震三部，手中兵力约有三万人，眼看犹有一战之力，遂率军向豫章城挺进。
这个时候，也没人在意林士弘在淮南兵败，孤身南逃的事情了，所有人都很清楚，若是打不下豫章郡，他们将再次成为一群盗匪，彻底丧失现在的身份和地位。
淮南的事已经不重要了。
三军很快进抵豫章城下。
苏胡儿是个武夫，还是个没多大见识的武夫。他占领豫章城，就跟老鼠调到米缸里一般，立刻就霍霍开了。
再加上之前张善安火烧豫章城，好好一个大城，被二人弄得乌烟瘴气，满目疮痍，生灵涂炭。
城中百姓被侵扰的不厌其烦，这时候反而尽思念起林士弘来。豫章城毕竟是林士弘经营多时的老巢，他还有些人心的。
林士弘兵临城下，很快联络城中一些大户，打开了城门，遂杀入城去。
一心只知道掳掠的苏胡儿是猝不及防，城破之后，只得率兵逃离了豫章城。至此，林士弘的这个老巢又重新被其收复。
只是不过短短半个多月，豫章城几经战火，再不复之前的繁盛样子。
林士弘也顾不得像小儿女一般哀哀泣其，他立刻命令手下前往江陵，去见萧铣，请求和谈。
林士弘清楚，哪怕就是去帝位，称臣，也得招来梁军，否则楚国就要完了。