江苏巡抚李鸿章及一些地方官早就对白齐文的骄横不满，而且，从饷银的发放和军队人员的构置、武器的配备各方面来说，“洋枪队”已经为了清朝的一支国家军队。白齐文这一过激行为，彻底触怒了李鸿章。
李鸿章立刻奏请朝廷，撤去了白齐文的职位，另由英国军官奥加伦暂行接替。
白齐文性烈如火，哪吃得了这个哑巴亏?上窜下跳，叫嚷着，前往北京要求复职。此举，在李鸿章的阻拦下不了了之。
且说，奥加伦接管了常胜军后，表现令人失望。他在攻打太仓一战中，吃了一个大败仗，死了一百九十人，伤了一百七十四人。
于是，李鸿章跟驻上海英国军方达成协议：常胜军的饷银由淮军统发，成为中国的正式军队，并通过英国陆军司令斯泰夫莱保荐英国人戈登担任洋枪队的第三任统领。
戈登与华尔、白齐文不同，他不是冒险家，而是正规军官，在英国陆军中已经官至少校，并参加过第二次鸦片战争，是个出色的指挥官。接任后，戈登指挥常胜军屡战屡胜，为清廷成功震压太平天国立下了汗马功劳，被同治帝赐予领提督衔、赐穿黄马褂、戴孔雀花翎，英国媒体一致称他为“中国人戈登”。
这么一来，白齐文要重新染指常胜军已经彻底没戏。
一怒之下，他纠集了一伙因拥护他而被常胜军开除和自动脱离常胜军的旧部，又增募了若干在上海洋人流浪汉，在松江附近抢得一艘汽船，直驶苏州，投奔了太平天国慕王谭绍光。
谭绍光对白齐文的意外来投喜出望外，大摆宴席。
从此，白齐文正式成为了太平天国的一员战将。
当然，白齐文是不会满足于这个的，他少年时的梦想还没泯灭。
为此，他首先得致力于组建属于自己的军队。
由此，他先后数次潜回上海，招集旧部前往苏州。他还“策反”了曾在清军小炮船“高桥号”当船长的钟思和其他几个士兵在青浦抢夺“高桥号”小炮船，成功驶回了苏州。
一来二去，白齐文大获谭绍光的好感。
谭绍光认为白齐文所做的一切都是在为太平天国在奔走，可怜他的新组建起来的“洋枪队”人员太少，就很豪爽地从太平军中挑选了两千多人交给他训练。
在白齐文眼里，这两千人还是太少。
