为了实现自己的野心，白齐文又做出了一个决定，亲自到天京谒见忠王李秀成，提出要节制一支部队，并拥有自主行动的权力。
这，就是想成为军阀的迹象了。
面对这个曾经数次打败过自己的洋兄弟，李秀成并不怀疑他的作战能力，而忌惮他的野心，客客气气地款待了他，却始终回避交拨给他一支军队管理的事。
白齐文没办法，只好亲力亲为，继续为创建自己的“常胜军”而努力。
白齐文在原“常胜军”官兵中威望很高，随着他的活动力度不断加大，“常胜军”中的跳槽现象越来越严重。
李鸿章大感恐慌，崩紧神经，加强了对“常胜军”官兵的控制。
李鸿章在1863年8月向朝廷奏报说：“现在苏州贼势亦蹙，吴江复后我军进步较快。惟白齐文回沪，闻已密投苏贼，招募外国流氓百余人陆续投往，并有代购洋枪炮情事，英国文武各官皆走相告。”
因为李鸿章的严密防范，白齐文不但难于招揽兵员，他好几次大批购买军火的行动也被破坏了。
白齐文折腾了一番，所能指挥的却只有那支“洋枪队”和“高桥号”小炮轮。
而往后，太平天国的局势越来越不利，白齐文建议李秀成放弃苏州、天京，孤注一掷，集中力量全力攻打北京。
该建议与李秀成的想法不谋而合，可惜却被太平天国的当家老大洪秀全拒绝了。
此议不施，太平天国就失去了翻盘的机会。
白齐文的“洋枪队”在与清军的战斗中减员严重，最后只剩下数十余人，且大部分负伤患病，纷纷要求离去。白齐文向谭绍光申请遣散费，同意这些人离去。白齐文本人也因旧伤复发，潜回上海治病。
谭绍光对白齐文的离去深感痛惜，用自己的轿子和卫队将他送到前线两军相交处，同时还给戈登写了一封信，希望戈登能本着人道主义精神，将伤病中的白齐文平安送到上海治疗。
谭绍光的举动，历历落落，白齐文深受感动。
也正是因为谭绍光的赤诚相待，白齐文渐渐淡灭了自己曾经的野心，转而要向太平天国效忠到底。到了上海，他立刻在英文《北华捷报》上发表文章，声明自己“直到此刻为止，仍然没有丝毫背叛太平天国的意念”。
白齐文这道声明把美国驻沪领事吓坏了，生怕因为他会给美国带来不必要的麻烦，将他转送到日本横滨治疗，严禁他再回中国。
病好后白齐文曾两次返回上海，却都被美国领事强送回了日本。
