从1851年到1855年，天地会、艇军，为了夺取梧州这座珠江上极为重要的城市，动了至少四次大规模的围攻。韦泽在1852年时候到梧州，所见到的那次围攻算是第二次。
由城内百姓为主要兵员组成的四大民团是防御战中的中坚力量，这年头城破之后城内百姓注定会遭到攻城武装的掠夺，城内百姓们立刻就是家破人亡的局面。所以防御者们大有众志成城的心态，并且在斗争中结下了深厚的友谊。
但是这样的一股军事防御力量却在1855年向着光复军屈服了，面对光复军来自空中和地面的无力彰显，摸不着头脑的民团自己率先失去了战斗意志。“飞天”意味着掌握了神仙的力量，光复军飞在天空中的武器强烈的震撼了民团头子。而光复军占领了梧州之后，不抢掠，不杀人，这个结果倒也相当不错。
不过等到《民团管理条例》正式交给民团头子之后，他们就明白过来，光复军并没有因循满清旧例的打算，一度因为战争而与官府势均力敌的民团，在光复军看来是必须取缔的组织。这种态度无疑让民团头子们下了与光复军彻底翻脸的决心。
当然，想和光复军彻底翻脸，光凭城内的这点子民团还是不够。他们自己的家业就在城内，在城内打起来只会导致自己家破人亡。最重要的是，即便是家破人亡也没有战胜光复军的把握。对于光复都督府在梧州建立的地方政府，这些民团头子是恨之入骨，却又感觉无能为力。他们除了串联，表示绝对不会申请正规民团身份之外，反倒是老实起来。
然而事情在1855年9月生了变化，一度被光复军放逐的地方官员偷偷回来了。他们带回来的是满清朝廷的委任状，以及号召两广豪杰起来推翻光复军的公告。
在公告中，满清皇帝咸丰明确指示，能够杀韦泽一个士兵的，就赏给功名，能够占据一座韦泽控制的县城的，就封县令。能够占领韦泽控制的府城的，就封知府，能够占据省城的，立刻封巡抚。
这下民团头子们的心忍不住活络起来，在他们看来，光复军并没有什么了不起的地方，这帮家伙有枪有炮，可清军和民团难道就只有烧火棍不成？至于光复军能够在天上飞的玩意，原本笼罩在一层神秘的色彩中。让这些民团头子们甚为忌惮。
不过这种忌惮却被光复都督府自己给打破了，他们推行了公立学校，宣传新式的自然科学。不少家长对与送自己的孩子去上学很有兴趣，但是却不太敢送到光复都督府的学校去。所以光复都督府就搞了一些科普活动，特别是展示了热气球。亲眼看到热气球的简单原理之后，家长们才明白那就是个大号的孔明灯。操作者是普通人类，制作的材料是普通材料。根本没有任何神仙授予仙术。
虽然这些科普活动的确让不少市民把自己的孩子送去了新学校，民团头子们终于明白了自己的对手只是一群善于装神弄鬼的凡人。确定了这些之后，民团头子们迅开始行动起来。
当他们开始大规模串联的时候，才现梧州一带对光复都督府持反对立场的人远比想象的要多的多。清军的官员、部队，都希望能够打回梧州。只是这些人数量少，加起来也人数也不足五千。驻守梧州的光复军有万余人马，更有城防的优势。若是打起来根本没有丝毫胜算。
不得以，这些人又开始联络更多豪杰。出乎他们意料之外，不少艇军豪杰得知这个消息之后也加入进来。就在此时，梧州一部分部队开始向肇庆方向撤退。不少民团人员此时加入了光复军建立的警察系统，从这里得到的消息是，光复军的部队开始进攻其他地方，由于总兵力不足，所以要抽调梧州部队。
这些民团头子将信将疑，他们委托肇庆的亲友询问此事，得到的是同样的消息。此时光复军已经控制了几乎大半个广东，各个城市都需要进行防守，部队出现了极度不足的局面。不仅梧州的光复军出现调动，包括肇庆的光复军同样实施了调动。而且根据传言，光复军在和福建清军打起来了，很多部队都在向福建方向调动。
仿佛是要印证这个消息之后，守梧州的五千多光复军又调动了一千多人前往肇庆，明显是有继续削减兵力的打算。这些民团头子们终于按捺不住，三四千人固然是很大的力量，却再也不能向头几个月那样把梧州看守的如同铁桶般。这些以反对光复军为目标的力量终于鼓起勇气开了次领导人会议。
表面上为的是几名偷偷跑回梧州的官员，但是这几个家伙也算是识相，官职最高的一个是管府库的文书秦得力，他自从一开始就明确表示，自己只要功劳，然后回到京城那边领赏。至于夺取了梧州之后，受封知府的自然是这帮出力的人，他是断然不会抢夺这个职位的。
李寿昌身为梧州民团中的老大，自然被民团头子们推举为领。这次会议上李寿昌也见到其他势力的代表。先自然是清军的代表，守梧州的清军是绿营，这帮人吃的就是当兵的饭，更在城市中养成了不少恶习，酒色财气吃喝嫖赌全都沾染上了，不少人还有大烟瘾。
光复军夺取梧州之后并没有接收他们，而是把他们给遣散了。这些清军也不懂种地，更不想种地。被遣散之后，不少人干脆就当了土匪。但是这年头兵荒马乱的，广西又是个民风彪悍的所在，这土匪的日子也不好过。得知有人准备干掉光复军，夺还梧州，他们纷纷互相联络，有一千多人聚集起来。这里头为是个叫做刘文生的把总，有一口抽烟抽的黑黢黢的牙齿，民团老大李寿昌见过他，知道这家伙是个大烟鬼。会议刚开始的时候，这刘文生还能坐住，结果只开了一会儿，他就忍不住坐立不安起来。又过了一阵，刘文生又有点想涕泪横流的迹象。不过他也知道此时不能立刻点上烟qiang，所以他的部下给他敬上了一根叶子洋烟，刘文生赶紧抽了起来。从那辛辣的味道中，李寿昌闻出来，这叶子洋烟是用大烟膏泡过的。那刺鼻的味道非常令人不爽。不过此时李寿昌也不想计较了。
当然，刘文生态度很坚定，“只要大伙能把城门打开，我就带着兄弟们杀进城去，定然让那光复军一个不留！”
另外一支反对光复军的重要力量却是艇军中的豪杰，其中几个人李寿昌还有点眼熟。为的两人名叫胡有禄和吴凤才。他们在1852年曾经一起攻打过梧州，之后数次参与过打梧州的各路队伍。
胡有禄号称手下有两三千兵马，他看到李寿昌这个老对手投来的异样目光，就大大咧咧一笑，“我一直问罗大纲叫大哥，不过这罗大哥当了光复军的官之后就变了，不仅不照顾兄弟，还把江上所有好处都捞到他一个人手中。大哥不仁，就别怪我们当兄弟的不义。这次能打下梧州，兄弟我好歹也得混个官身。张国梁当过土匪，招安之后照样当了大官。我这就诚心诚意投奔朝廷啦！”
听着这话，并不完全相信的李寿昌只能点点头。