日本侵略军一九三七年十二月十三日和二十七日相继占领南京、济南后，为了迅速实现灭亡中国的侵略计划，连贯南北战场，决定以南京、济南为基地，从南北两端沿津浦铁路夹击徐州。

按原定作战方案，徐州以北保卫战，由第五战区副司令长官兼第三集团军总司令韩复榘指挥，岂知驻扎山东的韩复榘，大敌当前，还为保存实力打小算盘。

一九三七年十二月二十三日，日军一部攻陷归仁镇后，韩复榘未战而走，造成了严重后果。十二月二十七日，济南失守，日军由博山、莱芜进攻泰安。

一九三八年一月一日，泰安落入日军北方军第二军矶谷廉介之手。韩复榘连连丧池失地，致北段津浦路正面大门洞开，使日军得以沿线长驱直入，给徐州会战投下阴影。

李宗仁屡屡严电韩复榘夺回泰安，并以此为根据地阻截南下之敌。韩复榘对李宗仁的命令置若罔闻，一错再错。为此，韩遭到蒋介石枪毙的处置，由孙桐萱代任其职。韩复榘的不战自退，非但使中国军队失去了黄河天险，更将济南、泰安等地拱手让敌，其后果之恶劣，实难形容。他也因此成为在抗战中第一个被处决高级将领。

台儿庄的地理位置非常重要，它地处苏鲁交界，位于枣庄南部，地处徐州东北三十公里的大运河北岸，临城（今枣庄市薛城区驻地）至赵墩的铁路支线上，北连津浦路，南接陇海线，西面毗邻南四湖，为山东南大门、徐州之门户，乃是南下徐州的最后一道屏障，举世闻名的京杭大运河横贯全境，自古是南北漕运枢纽，战略位置十分重要，历史上为兵家必争之地，是日军夹击徐州的首争之地。

补充了人员兵力和武器弹药的新一团，在徐州休整了半个月的时间之后，被临时编入到了第五十一军，赶赴蚌埠，镇守淮河北岸，防止日军渡过淮河向北突进。

一九三八年二月二日，临淮关的日军八百多人，在六架飞机、十门大炮的掩护下，企图强渡淮河。第五十一军第一一四师第八六零团奋起反击，与日寇血战四个多小时，日军被击毙三百多人后，仓皇撤退。

第二天，日军第十三师团和第五师团两万五千多人攻陷了蚌埠、凤阳，第五十一军抵挡不住，只得撤回淮河北岸固守，并且炸掉淮河铁桥，阻敌北进。

下午三点，临淮关以西蚌埠以东的日军两千多人乘坐民船和橡皮艇在飞机大炮掩护下，又二次强渡淮河，负责在淮河北岸防守的新一团当即就奋起反击，用重机枪、布福斯山炮向河中敌人狂扫，激战了一天的时间，日军被杀落水者不下四百余人。