八月底，波特又率领侵略军三四千，配备军舰11艘，大木船9艘，水陆两路进犯丹凤县。刘永福派黄守忠、邓士昌紧急带队前去迎敌，两军在堤围上发生遭遇战。基围内水深没顶，河堤狭窄，弹雨密集，法国兵舰又从江面发炮轰击，黑旗军前后受敌，形势非常危急。刘永福派人向清军求援，但清军按兵不动，催促多次才派来两营兵力支援，调拨子弹1万发。双方血战三日三夜，黑旗军艰苦卓绝，不吃饭、不睡觉、不休息，而转守为攻。“是役歼灭法兵亦以千计”。正在这时，孤拔在东线战场不费吹灰之力攻陷顺化，强迫越南政府在《顺化条约》上签字生效，包括开放红河和割让保胜给法国，责令刘永福退兵。刘永福满腔怨愤，只好退守山西。
山西是越南北部一个军事要地。刘永福为了确保山西，收复失地，命令部属急造木排、竹筏拦江，截阻法军从河内来的兵舰；又部署在河岸修筑炮台。每隔十丈置一门铁炮；还抢修加固城墙和在周围筑起五重木棚，东、西、南、北四个门分兵把守，在城头上加强巡逻戒备。城内除黑旗军3000人外，还有张永清的清军和黄炎佐的越军。1883年12月11日，法军出动兵舰12艘，板船40艘，弹药车500辆，水陆并进气势汹汹地向山西杀来。刘永福率领部众冒着枪林弹雨，沥血鏖战。但由于城外一炮台陷敌，西门城墙被法军炸塌，越奸阮廷润等叛国投敌，其余越军亦贪生怕死，穿上白衣，打开城门投降。协防的清军也望风逃遁。山西遂于12月26日沦陷。
援越清军畏法如虎，苟且偷安相继退出北宁、山西、宣光等重镇，龟缩广西边境。1884年，法国派海军舰队突然袭击我国福建马尾军港和船厂，清朝政府被迫下令正式对法宣战。同年8月清政府封刘永福为记名提督并赏戴花翎。中法战争进入紧张阶段。刘永福先后派人回博白招募壮丁数百人扩充黑旗军。1885年1月黑旗军与援越清军包围了宣光法军。刘永福在离宣光十余里的左育驻扎重兵，并用竹排、木筏拦河拒守。断绝法军运送粮械接济。宣光守敌被围月余，成为瓮中之鳖，危在旦夕，遂向河内法国全权大臣寄信救援，说：“宣光被围，弹药将尽，速派兵援。”刘永福断定河内法军总部得悉，必派援兵，且取道左育，便选择在左育附近野茅丛生的大荒坡，埋下大批炸药，铺上草皮伪装坟墓，准备一举歼灭敌人。一天，法军援兵从太原向宣光张牙舞爪地冲来，待敌人进入伏击地段时，黑旗军拉发火引，一阵震天巨响，山崩地裂，硝烟冲天，法军被炸死炸伤四五百人，其中军官20多人，伪军死伤不计其数。法军吃了苦头，咬牙切齿施以报复，利用密集炮火轮番射击，组织兵力猛烈冲锋；宣光城内法军乘机反扑，黑旗军力不能支，宣光之围被解，黑旗军退守临洮。
1885年3月23日，法军进犯临洮。刘永福联络奉命抗法的滇军和越南义勇队，共同阻击来犯之敌。鏖战一日两夜，敌军精疲力竭，死伤惨重，只得黑夜潜逃。刘永福挥师乘胜进击，连克临洮府和广威府等十余个州县有力地策应了东路抗法清军，转败为胜。冯子材在镇南关大败法军，还光复谅山、高平等重镇，扭转了战局，打击了法国侵略者的嚣张气焰。但由于越南王朝和清朝政府腐败昏庸，同年4月19日宣布停战，前方将士忍气罢兵。
刘永福在援越抗法战争中英勇不屈，身经百战，取得了辉煌战果，使法国侵略者和中国投降派极端仇视和不安，一心要把他剪除。清朝政府为了逼刘永福率部回国，一个月内就连下九次上谕，采取胁迫利诱，恩威兼施的手法，赐予刘永福“依博德恩巴图鲁”和“三代一品封典”的荣誉。越南人民得知刘永福要离越归国，远道赶来挽留。后来，黑旗军有部分人员不愿回国，留下来参加当地抗法义勇队；有部分人散落各地成为华侨或越籍华人。1885年8月刘永福带领黑旗军3000人从保胜启程入云南省文山县南溪，于同年11月抵南宁。清朝政府又以种种借口裁减了1500人。同年12月刘永福奉令带领黑旗军1500人顺水东下，直抵广州，扎驻于燕圹，又被张之洞裁减去1000人。最后黑旗军旧部在刘永福身边只剩三四百人。1886年春清朝政府委任刘永福为闽粤南澳镇总兵。
