这个期间，吴广在合浦郡也不轻松。
事实上，番禺的吴巨之前一直积聚力量，防范着大凉军。他在番禺招募了近万兵马，并水军三千余人。可谓兵多将广，但他那时候还是自保为主，拥兵自重，并没打算对合浦的大凉军
怎样。
吴广也知道吴巨不好惹，所以短时期内，他也没打算将番禺收入囊中。
可是吴巨被任命为广州刺史之后，合浦郡也归他管。他要是不做点什么，朝廷那边也不好看。毕竟，你这个新任广州刺史，连自己的属地都不积极收复，是不是不作为啊？你这个刺史要不要换个更能干的人去做？
所以，尽管吴巨对合浦并没有什么野心，但位置在那里呢，他也必须要动作起来，以显示自己这个封疆大吏对朝廷的忠心。
所以，他纠集了本部兵马八千余人，并苍梧郡的兵马五千多人，打着“驱除海寇，光复领土”的旗号开始向合浦郡进攻。
首先受到冲击的就是和南海郡接壤的高涼。
此时，高涼的县令正是从大凉考察归来的海归袁沛。
高涼之前就是大县，但因为这地方是合浦最后沦陷的，吴广又斩杀并迁徙了高涼的很多军士及其家族，所以高涼比较不服管。
就是口服心不服的意思，明面上听你的，但暗地里打自己的小九九。所以，之前吴广派去的县令管不好。甚至县衙的大门都被当地百姓抹了屎，虽然伤害性不大，但侮辱性极强。
但袁沛去当县令就不一样了。
袁沛本来就有将陈长生的思想本地化，并借此先进的思想改良当地的制度，做大做强，搞自主化的路子。
另外加之他是本地的名士，所以高涼的人不反对他。
袁沛又推行了一系列改革措施，把高凉治理得很是不错。耕地面积增加了，百姓收入也翻了一番。另外，袁沛还有地方保护主义倾向，不像其他县，积极向吴广纳钱纳粮，分担大凉驻军和合浦军的军费，他把钱粮留了很大一部分，给当地百姓改善民生。又开办学堂，开启民智。让当地老百姓识字，学习大凉先进的生产技术。
所以高涼地方的老百姓都很拥护他。
高涼一时间gdp快速增长，百姓生活殷实，民风淳朴，夜不闭户，路不拾遗。
就连生活在山里的土著民，都知道袁沛，愿意和他交往。
吴巨也听说了袁沛这个人和大凉不是一条心。所以在发兵之前，派人联系袁沛，说只要你投降我广州，我让你当大官，管理整个合浦。不像吴广，不识货，把你扔到这里就不管了。
袁沛一听，眉头一皱。
当时他也有点动心。不过他转念一想，不对。吴巨虽然殷勤邀请我。但他施行的还是大梁朝那一套。如果高涼真的并入广州，我高涼百姓又得被三座大山压住，吃二遍苦，受二茬罪。我虽然升了官，但他们却受苦了。
“啊，你回去跟吴巨刺史说，感谢他看得起我，这事儿我先考虑考虑。过一阵再给你们答复。”袁沛并不是书呆子。他并没断然拒绝吴巨，而是打了个马虎眼。
吴巨一听，这袁沛是个墙头草啊，谁利害跟谁混。
所以他并没着急打高涼，而是决定发兵攻打与高涼相邻的临允县。吴巨觉得，只要自己拿下临允，袁沛也就降了，这一大块，就算拿下来了。
谁知道袁沛在说客走了之后，立即召集县尉以及县里的士绅开会。
把吴巨派人来收买他的事儿当众说了。
“褚公你们怎么看？”
他问这些人的态度。
这些人之前享受了大凉殖民带来的红利，当然愿意在大凉治下。不过，现在吴巨气势汹汹，大凉军能不能挡得住他们？如果挡不住，大凉人能坐船回大凉国去，他们可走不了。回头吴巨再判他们一个叛逆之贼。那是要抄家灭口的啊！
所以他们不吭声，都看着袁沛。
只有一个士绅说，大凉帝国在我们这里只是落落脚，并没有把我们当自己人，之前我们没办法，朝廷不管我们，所以我们只好投降了吴广，现在吴刺史来邀请我们了，我们应该顺应时势，回到大梁朝的怀抱中去。
“嗯，你说的有些道理，还有没有人同意他的观点？”袁沛冷笑了一下，转头看其他人。
当即，又有几个士绅看不清形势，跟着附和说，应该回大梁。
“来人，把他们几个都拿下。”袁沛脸一变，猛然喝道。
“大人，大人，这是什么情况？”那几个士绅一下子蒙了。
“本官虽然不屑食大凉的俸禄，但为了高涼数万民众，也绝不能朝三暮四，投降吴巨。”袁沛冷喝一声，将那几个士绅推出去斩首示众，以表示自己抗战到底的决心。
之后，他在高涼招募民军，准备自保。因为他在吴广的幕府呆过，知道吴广的处事的原则和方式。大凉军绝不会因为一城一地的得失，在高涼和吴巨的军队死磕。
吴广心中最在意的还是合浦城。
为了避免吴巨长驱直入，攻打并劫掠高涼，所以他必须要组织民军自保。
袁沛一声喊，高涼凡是十五岁以上的青壮，都积极参加民团。两万多人的高涼县城，短时间内就募到了五六千民军。
而高涼县所辖的乡村，也开始组织自卫团，人数也不少。
袁沛一边派人刺探吴巨大军的动向，一边积极修筑城防。并让高涼县的县尉领着人打造兵器弓弩，并训练民团。而驻扎在高涼城外的大凉军屯的将领也找到袁沛，一起谋划守卫高涼的计策。
袁沛脑瓜儿聪明，又有专业人士指导，治下百姓又万众一心，很快高涼县城，被袁沛打造得像铁桶一般。
而高涼相邻的临允县情况却很是不妙。
临允县跟吴广跟得有些紧，县令为了政绩，对当地百姓极尽所能的搜刮，但对大凉移民却另眼看待，搞特殊化，惹得当地百姓天怒人怨。
所以，当吴巨的大军攻到之时，临允很快就撑不住，县城被攻破了。