岭南之地是大隋的，也是当地的大族豪强的，甚至于因为先是大族豪强，才是大隋的。岭南之中的高氏、冼氏、宁氏、陈氏、李氏等汉夷之族作为其中的领头羊，跨州连郡，据有人口，对岭南的话语权和影响力远大于大隋官方。
岭南是没有世家的，只能算豪强。
不过这些豪强，比世家大族都可怕。
在岭南，至少是冼夫人活着的时候，甚至可以说是岭南乱不乱，冼氏说了算。
不提南北朝的那些旧事，单说当初南陈灭亡之后，岭南并未归附大隋。各地共推冼夫人为主，号圣母，保境拒守。开皇九年，杨坚遣江州总管韦洸、东来郡公王景一起持节安抚岭南，但为南陈豫章太守徐璒据南康拒之。韦洸根本进不去岭南，还是杨广派人跟冼夫人谈判，让出大量的利益，冼夫人派孙子冯魂亲自迎接韦洸至广州，这才使得岭南归附。
由此可见冼氏之强大。
而之后王仲宣、陈佛智等人掀起岭南大叛乱，广州城危在旦夕，连广州总管韦洸都战死，冼夫人的孙子冯暄亦参与其中。又是大隋跟冼夫人谈妥了条件，冼夫人亲自领兵平叛，又联系各部首领前来参谒大隋使节，这才安定了岭南。
可以说整个岭南，就是这些豪强大族的乐园。
也就是冼夫人死后，岭南各家没了领头羊，矛盾重重，难以调和。杨广又不断地派人分化各家，才勉强维持住对岭南的统治。
大隋安定之时，这些岭南大族还算安分，但大隋乱后，岭南也开始跟着烽烟四起，乱了起来。
大业九年，冼氏家主冼夫人的侄孙高凉郡太守冼宝彻举兵作乱，岭南溪垌多应之，算是彻底拉开岭南纷乱、分裂离析的序幕。
其后各家首领，多有反者。
到卫公元年初，宁越郡太守宁长真控制着郁林郡大部和宁越郡；合浦郡太守宁宣、宁氏族人宁道明、岭南俚帅庞孝恭等人和冯盎分别控制着合浦郡；粤东俚帅杨世略控制着义安、龙川二郡；梁化邓氏的邓文进控制始兴郡和南海郡北部；岭南大酋永平郡守李光度控制着始安郡大部、永平郡北部和郁林郡北部；以冯盎、冯喧、冯士翙为代表的冯氏家族控制着高凉郡、合浦郡东部、海南三郡等地；冼宝彻、高法澄控制着南海郡大部、信安郡和高凉郡东部；除此之外，还有谈殿、陈龙树为代表的俚僚领袖，控制着永平、永熙、苍梧三郡周边的大片地区。除此之外，还有沉逊、欧阳世普、秦元览、韦阙等人，各依附于几家大族。至于俚僚等夷族，就不知道有多少了。
可以说整个岭南，已经完全落入当地豪强大族之手。
而大隋在岭南的势力，也就是以黄明聪控制的交趾四郡为主。其余还有始安郡太守李袭志、熙平郡太守丘和龙川郡太守高士廉各据郡城，勉强苟延残喘。
不过岭南豪强大族和外来官吏天然就处于对立面，毕竟双方都是自己控制岭南的敌人。于是岭南各族不断地对外来官吏控制的地盘进行蚕食，打压其生存空间。
岭南豪强大族可以依托家族势力打击外来官吏，而内部不安，外无援兵的外来官吏们，只得在对方的打击下，一败再败，走向覆灭了。
外来官吏中最坚挺的便是始安郡的李袭志。
始安郡北面是萧梁势力，南面是李光度和俚僚各部，在两面的打击下，失城丧地，最后只剩下一个始安城（今广西桂林市）。
面对内忧外患，李袭志倾尽全部家财召募三千士兵守卫郡城。萧铣、曹武彻、李光度等势力轮番进攻始安，李袭志每次都是奋力固守，使敌不能攻克。
后来杨广去世，李袭志因为家族原因便投靠了李渊，被封为桂州总管。
不过封再大的官也不过是一种精神支持，李渊自己都说泥菩萨过江，自身难保，对于始安，他是一兵一卒也给不了。
始安城前后守了一年多，几乎是兵尽粮绝。
李袭志守得焦头烂额，便对外寻求援兵，可他身边熙平郡的丘和也自顾不暇，根本无力支援。眼看再守下去就是覆亡，这时李袭志的儿子李怀俨便建议李袭志可向交趾的黄明聪求援。
李袭志虽在岭南，但对于中原的情况还算了解的。他本人已经降唐，而黄明聪是卫公的兄弟，必然是投于卫公一方，这样两家便成了敌人。
向自己的敌人求援，实在没有这个先例啊。
李怀俨却是认为，不管是唐王还是卫公，其斗争都是大隋内部之事。而与岭南大族之间，却是事关民族大义。只要黄明聪不想整个岭南落入到岭南大族手中，就不得不救援始安郡。
再说救人也是救己，若始安、熙平二郡完了，岭南各家必然会把矛头指向交趾。
李袭志却是觉得儿子的想法过于想当然，这不只是一个救援的问题，而且事关是唐还是卫的站队。
李袭志当然倾向于李渊，从大同开始，他就不喜欢黄明远这个人。
无关其他，就是不喜欢。
所以黄明远几次给他写信，劝他听说信都朝廷的命令，他都没有在意。
现在若是向黄明聪求援，等援军解围之后，他们该何去何从。是继续跟着李唐，然后跟黄明聪翻脸，还是倒向黄明远。
这都是问题。
两个选择都很困难，翻脸那是背信弃义，可若是投降黄明远，他又心不甘、情不愿，而且他还有家族拖累。
山南李氏，位于西城郡，也是李唐的重要支持者。
李袭志说了这些疑虑，李怀俨却不以为然。是李渊没法援助他们，他们为了生存投向黄明远，本就是天经地义。
而且李怀俨也不看好李渊，听说李渊屡战屡败，连关中都丢了，蜷缩于巴蜀一角，苟延残喘，能有什么作为。他们降了黄明远就降了呗，怎么看都比跟着李渊强。
李袭志满心无奈，最后还是决定按儿子的建议，向交趾郡求援。
儿子说得对，一切为了生存。