消息传到冯子材耳中，他义愤填膺，慨然上书要求领兵抗法。新任两广总督的张之洞答应了他的请求，授予其广西关外军务帮办，带领十八个营的军队，开赴抗法前线。中法战争即将揭开新的一幕。

临行前，须发皆白的冯子材祭别祖先，嘱托家人：万一军有不利，百粤就非我所有。你们速带家眷，奉香火驰归江南祖籍，永为中国臣民，免受外人奴役。他还把两个儿子带在身边为国尽忠，同时也准备万一战死沙场，有人料理后事。他的拳拳爱国之心打动了在场的所有人，人们更加敬佩这位在疆场征战了数十年的老将军。

当时前线的情况极为严峻，法军气势正盛，而清军却是一团糟。法军占领镇南关的当天，清军前敌总指挥潘鼎新便一口气逃到距镇南关百余里的海村，完全放弃了指挥。而其他清军将领又相互推诿，不服调度，散兵游勇四处劫掠，老幼难民蔽江而下，关内震动。冯子材以七旬高龄，德高望重，被前线将领推举为“前敌主帅”。原先一盘散沙的清军逐渐团结在他的周围，众志成城，要与法国侵略者血战到底。法军尽管气焰嚣张，然而也面临着许多困难：远离后方补给基地；失去泊于江河的炮舰的强大火力支援；兵力不足，能战之兵仅四五千人。冯子材分析了敌我双方的处境，制订了积极防御的战略方针。他亲临前线勘查边境各处山隘，最后选定地势险要、易守难攻的关前隘为预设战场，还命人在东、西两岭间构筑了一道三里多长的土石长墙，墙外挖了深堑，在东、西岭上又修筑堡垒多座，构成了一个比较完整的山地防御体系。在兵力配置上，冯子材把士气高、战斗力强的“萃军”和“勤军”放在主阵地上，在左、右翼派了较强兵力，以防法军迂回包围，最后以强大的预备队驻幕府、凭祥，随时准备投入反攻。一切布置妥当之后，冯子材才放心地说：“不论法人如何进攻，我都可以立于不败之地了！”

法军见冯子材防备精当，不敢从正面进犯，便想从侧翼偷袭。冯子材接到了越南民众的密报，令苏元春率军阻击，同时派出一支“萃军”乘虚袭击法军据点扣波。月日，从侧翼偷偷来犯的法军遭到了苏元春部的迎头痛击，败逃至扣波时，又遭到守候多时的“萃军”的重击，溃不成军，狼狈逃回了文渊城。

偷袭未成，连吃败仗，法军指挥官尼格里深感脸上无光，为捞回面子，他不待援军到齐便仓促决定提前发起全面总攻。

月日清晨，法军二千余人趁大雾偷偷进入镇南关，一路重点进攻东岭炮台，另一路顺关前隘谷地前进，企图在主力夺取大青山顶峰堡垒后，前后夹击关前隘清军阵地。敌人以新式开花大炮为掩护，来势极猛。东岭上赶修起来的五座炮台，很快就被攻陷了三座。

法军占领东岭后，居高临下，以重炮轰击关前隘长墙，其主力则乘势向长墙猛扑过来。在这关键时刻，冯子材朗声高呼：“如果再让法军入关，我们有何面目去见两广父老！”在主帅爱国热情的激励下，士兵们勇猛无畏，拼命杀敌。恶战一直持续到深夜，援军相继赶来，充实了前沿阵地的兵力。敌人疯狂的进攻终于被击退了。

当天晚上，身为前敌指挥的苏元春等产生了畏敌情绪，借口弹药不足要求后撤。对前来劝说的表兄黄元高，冯子材愤然拔出指挥刀，喝道：“你知道这里是军法重地吗？”吓得黄元高连话都说不出来，慌忙退出。苏元春等又亲自请求，被冯子材严词拒绝。他慷慨激昂地说：“我不会退！我誓与此墙共存亡！法国人说广西的门户不复存在了。我们要用他们的头来重建广西的门户！”一席话说得怯敌的将领羞愧难当，坚定了坚决抵抗的决心。镇南关清军大败来犯法军第二天清晨，大雾弥漫，数步之外便不见人影。法军发动了更大规模的进攻，兵力增至七八千人，大小火炮数以百计。霎时间，关前隘炮声震天，硝烟直冲云端，远在几十里外都能听见炮声。在强大的炮火掩护下，法军主力再一次向清军阵地猛扑。狼群一般的法军转眼便拥到长墙下，有的甚至已经爬上了长墙，眼看长墙阵地就要被攻破了。在这千钧一发之际，冯子材“以帕裹首，赤足草鞋”，振臂一呼：“有进无退！”率先手持长矛跃出墙外。他的两个儿子相荣、相华紧随其后。

清军将士看到年近七旬的主帅亲自冲锋陷阵，顿时热血沸腾，打开长墙栅门，一齐从墙内冲出，以排山倒海之势冲入敌群，与敌展开殊死肉搏。法军没料到清军会以肉搏方式反攻，本身又不善格斗，心中立时没了刚才的锐气，只有招架之功而无还手之力。