一九四O年六月上旬，蒋介石企图通我新四军撤出华中，退至黄河以北，尔后凭借黄河天险，堵塞归路，置我军于死地。自此，苏北、皖北磨擦事件接连发生。党中央、毛主席对此采取了针锋相对的斗争。除从舆论上揭露这一阴谋外，令八路军一部南下，协同新四军巩固和扩大华中抗日民主根据地。刘少奇同志根据这一指示及华中的具体情况，提出了“向东发展、向西防御”的基本方针。指示我们首先集中主力打击顽江苏省主席韩德勤，解决苏北问题；然后向西解决皖东、皖北的问题。在此期间，根据党中央、毛主席的命令，黄克诚同志率八路军三四四旅及新编第二旅共五个团一万二千余人，及教导营五百余于部南下华中，于六月二十日到达新兴集，与第六支队胜利会师。并按八路军总部命令，合编为八路军第四纵队，彭雪枫任纵队司令员，黄克诚任纵队政委。不久，又由中原局报请党中央、毛主席批准，将陇海铁路以南、淮河以北、津浦铁路东西的八路军、新四军统一进行整编，并区分了战略任务；以八路军三四四旅（不含六八七团）与新四军第六支队（不含第四总队）合编为八路军第四纵队，辖第四、第五、第六旅与教导团等部共八个团一万七千余人，以彭雪枫任司令员兼政治委员，执行“向西防御”的任务。以八路军新二旅、六八七团、苏鲁豫支队、南进支队、新四军六支队第四总队合编为八路军第五纵队，辖第一、第二、第三支队共九个团近两万人，以黄克诚任司令员兼政治委员，执行“向东发展”的任务。将抗大总校华中派遣大队与抗大四分校合并。并确定豫皖苏边区保安司令部改辖三个独立团，担任坚持巩固根据地的任务。
     一九四o年八月，桂系国民党军、骑八师马彪部等约四个师的兵力，在我四纵队开辟淮上根据地之际，对我形成三面包围的态势。骑二军何控国对我态度亦趋恶化，皖北磨擦有一触即发之势。我第四纵队利用国民党第一战区和第五战区的矛盾，采取区别对待的策略、开展统一战线工作，并对顽方作了某些让步，同时也作了自卫还击的准备，使局势暂时得到了缓和。十一月中旬，蚌埠、宿县等地的敌伪五千余人，坦克二十余辆，进犯蒙城、涡阳，我为粉碎敌伪的“扫荡”，第五旅和特务团在蒙城以北的板桥与敌人发生战斗，激战三昼夜，毙伤敌伪千余人，击毁汽车、坦克十余辆，击落飞机一架，严重地打击了敌人。我第四纵队在与敌伪顽的斗争中，以军事打击和政治分化等手段，巩固和扩大了豫皖苏根据地。
正值国民党反动派发动第二次反共高潮，华中局势日趋紧张之时，我第四纵队主力开辟淮上、永城以北地区，在主力较少的情况下，国民党王仲廉九十二军，利用其萧县、永城地方关系，于一九四O年十二月十二日策动豫皖苏边区保安司令耿蕴斋、第六旅千七团团长刘子仁、十八团团长吴信容等部叛变。这是国民党反动派蓄意破坏抗战、阴谋策动所致；也是耿、吴、刘这些人抗日动机不纯，幻想升官发财的剥削阶级本质所决定；同时，我们对地方武装的改造政策以及干部使用上发生了某些失误，只满足于一些表面工作，对他们的可能叛变警惕性不够。因此，在他们策动叛变的时候，未能采取有效的措施，加以防范并挫败其朋谋。由于耿、吴、刘的叛变，使永城以北地区我方政权大部变色，豫皖苏边区形势迅速恶化。
    一九四一年初，继“皖南事变”之后，蒋介石又调集三十万反共大军向华中发动进攻，妄图首先“肃清”津浦路以西之我军，尔后向苏北、山东深人，以实现将我军“驱逐”到黄河以北，配合日寇聚而歼之的毒计。当时进攻的主要矛头是直指我新四军第四师（“皖南事变”后由八路军第四纵队改称）及豫皖苏边区。国民党军汤恩伯部九十二军与骑二军、骑八师等部，加上国民党收编的保安团、地方部队，约为我第四师的七倍，向涡河以北挺进；耿、吴、刘叛军，地方的其它土顽，在我根据地附近骚扰；再加上日伪军的“扫荡”和突袭，使我们处于敌、伪、顽夹击的严重形势之下。
    党中央、毛主席预计到华中反顽斗争的长期性，指出：必须在这斗争中，逐渐削弱反共军的力量，逐渐锻炼与壮大我们的力量，才能最后击破反共军的进攻。为此，既要紧张地对付反共军大举进攻的严重局面，又必须耐心地作长期计划。不要过于急躁，不要企图在短期内就能取得全部胜利。华中局和新四军军部根据上述指示和华中当时的情况，于一九四一年一月，对反顽斗争作了全面的部署。其中赋予第四师的任务是：坚持豫皖苏边区阵地，抵抗反共军的进攻，不让其向津浦路东和陇海路北深入。并着重指出了政治上的斗争策略，军事上战略战术的运用，以及在万一不能坚持时，可退到皖东北地区。
    我第四师及豫皖苏边区党政军民，根据上述指示，确定的反顽斗争方针是：军事政治游击宣传战。展开了艰难困苦的三个月反顽斗争。集结在皖北、豫东的反共军，在日寇发动的“豫南战役”结束后，分三路向我第四师实施猛烈进攻。反共军渡过涡河之后，即策动日伪军对我进行“扫荡”。我第四师一面对日伪军进行反“扫荡”，一面奋勇抗击反共军的进攻。尽管在多次战斗中，对敌、伪、顽均给予大量的杀伤，但未能阻止反共军的进攻。四月中旬，国民党九十二军第一四二师的四二五团，在该团团长——我党秘密党员陈锐霆同志率领下，在淮上褚集进行反内战的战场起义。四月二十日，我军又趁势集中两个团的兵力，在大小郭家歼灭反共军一个支队。其它部队在反顽斗争中。也先后取得了不同程度的胜利．
    但是，由于敌众我寡和敌强我弱的军事对比，顽军兼有适合平原作战的骑兵参战又由于根据地还不是很巩固，正值春荒季节，军食民食均很困难；再加上我军轻敌麻痹和指挥上的某些失误，以致在三个月的反顽斗争中，先后几次遭受重大损失。三月初，在蒙城以南的半壁店、罗集战斗中，十旅二十九四损失较大。四月上旬，在永城西南的万楼战斗中，我十二旅三十四团的一个营全部壮烈牺牲。四月下旬，在宿县以南的大小营集战斗中，与骑八师遭遇，我十一旅三十二团与师直属队遭到严重损失。这时，反共军的进攻更加凶猛，叛军、地方土顽更加猖狂，敌伪与反共军相配合，对我的袭击与 “扫荡”也更加频繁。作战失利，人心不稳，部队疲劳，给养奇缺，根据地中心区被敌侵占，我军的处境已十分困难。
    一九四一年四月二十五日，华中局和新四军军部，鉴于第四师的危急处境，并为照顾抗战大局，指示我们留一部分主力及地方武装坚持豫皖苏边区的游击战争，主力转入皖东北地区，巩固和扩大皖东北根据地。由于形势的继续恶化，武装坚持已不可能，我第四师不得不告别豫皖苏边区的广大群众，于五月份先后撤至皖东北地区。至此，我艰苦创建的豫皖苏抗日民主根据地，除睢杞太及萧县的部分地区尚有党的组织和部分武装公开活动、永城等县党的组织转入地下活动外，其余全部丧失。在三个月的反顽斗争中，我豫皖苏边区的党政军民各机关部队共伤亡、失踪四千余人，撤到皖东北的不足万人，枪不足五千支。第四师撤到皖东北后，遵照华中局的指示，于七月中旬在洪泽湖东岸准宝地区之仁和集召开了军政委员会扩大会议。在新四军政治部主任邓子恢同志参加下，雪枫同志作了专题报告，认真总结与检查了反顽斗争失利的经验教训。这次会议，对于尔后巩固和扩大皖东北根据地有着十分重要的意义。
    仁和集会议之后，邓子恢同志任第四师政治委员、淮北（即皖东北）区党委书记，加强了党的领导。在淮北区党委的领导下，成立了皖东北行政公署（后改为淮北行政公署）作为皖东北的最高行政机构。先后由刘玉柱、刘瑞龙同志任主任。工、农、青、妇等群众组织，也得到了巩固和加强。第四师大力开展了建军和作战计划等项工作：进行整编，合并主力，充实连队，补充第十旅；成立“宿东游击支队”，开辟宿县地区的游击战争；吸取了平原作战的教训，成立了骑兵团，作为师的机动力量。九月，我第四师十旅与第三师九旅对调了建制，将红军部队全部集中到第三师；将开创皖东北的部队改建第四师，这样便于发展建立根据地与部队作风培养。十月，以十二旅为基础成立了淮北军区机构，主管地方武装的工作，加强了部队的整训，提高了军政素质。这时，整个淮北地区的武装力量共有一万三千余人。在进行整编和整训的同时，淮北区党委提出 “枪换肩”的任务，即将原地主阶级所掌握的武装，转移到工农群众的手中。部队进剿了睢宁、宿迁、泅阳等县的土顽，开辟了“泅五灵凤”和“泅灵睢”等新区，进一步发动和组织群众参军参战，开展有利于抗战和根据地巩固的斗争，并加强了争取伪军和建立两面政权等工作，使淮北根据地得到了全面的巩固和发展。
    反共军汤恩伯集团，在侵占我豫皖苏根据地后，又妄图东犯我淮北及苏北根据地。江苏省顽主席韩德勤亦调动兵力接应汤恩伯部东进。一九四一年七月，韩顽以保安第三纵队的两个团，侵占我淮海区泅阳县西北之陈道口，修筑工事，企图以此地为中心，控制运河两岸。我军为粉碎顽军东西对进的计划，决定攻占陈道口。十月十四日，我军在陈毅代军长亲临前线指挥下，以第三师七旅十九团与山东教导第五旅攻歼该敌。二十一日，我军攻占陈道口，俘顽军八百余人，残顽突围逃走，我军乘胜扩大战果，横扫了运河沿线的土顽武装。陈道口战役的胜利，不仅巩固和扩大了淮海与淮北根据地，而且严重地
    挫败了韩德勤接应汤顽东进的计划。但是，顽固分子反共的本质难改。一九四三年春，蒋介石又命令在皖北阜阳、太和地区的李仙洲部北犯山东。王仲廉部向我淮北根据地进攻；并令在苏北的韩德勤部侵占我淮北根据地，接应王仲廉部东越津浦路，东西对进，妄想夹击我第四师于洪泽湖以西地区而歼灭之。三月一日．韩顽侵入我里仁集、陈道口地区，三月中旬，侵入我淮北中心区的金锁链、界头集、山子头一带。为了再次粉碎顽军东西对进的计划，制止蒋介石扩大内战的阴谋，保卫华中抗日民主根据地，经军部批准，由彭雪枫、邓子恢同志统一指挥第四师九旅、十一旅，二师五旅，第三师七旅，决心在韩、王会师前，首先打击韩顽，尔后转兵打击王部。三月十七日夜，我部对山子头地区的顽江苏省主席韩德勤部发起自卫还击．至十八日上午，战役胜利结束，歼韩顽总指挥部、独立第六旅、保安第三纵队全部，生俘韩德勤以下官兵千余人，击毙专员王光夏、独立旅旅长吕仲鬟。已经越过津浦路进至灵壁县以北地区的王仲廉部，闻讯仓惶窜回津浦路西。山子头战役的胜利，不仅彻底粉碎了蒋介石东西对进、夹击我军的计划，同时也最后铲除了国民党反动派留在我华中根据地内的反共堡垒——韩德勤部。
    淮北根据地的巩固与扩大。游击战争的广泛开展，对日伪据点的不断拔除，使日本侵略者惶恐不安。一九四二年十一月中旬，日寇及伪军六千余人，在骑兵、坦克、飞机的配合下，向我淮北根据地中心区发动进攻，打通公路交通，增筑敌伪据点，烧杀奸淫抢掠，反复进行“搜剿”，破坏和分割我淮北根据地。我淮北党政军民，在区党委和第四师的统一部署与指挥下，进行了历时三十三天的反“扫荡”作战，大小战斗三十余次。其中以十二月九日的朱家岗（宿迁南）战斗最为激烈、我九旅二十六团，在朱家岗与千余日伪军展开激战，先后打退敌人十数次的冲锋，毙伤敌二百八十余人，迫使日寇弃械遗尸、狼狈溃逃。我十一旅三十二四马公店（泅县东）战斗，袭击了进犯日寇，使其死伤甚重。后来，我们又提出了敌进我进的作战方针，部队乘胜扩大战果，拔除据点，收复失地，胜利地结束了三十三天的反“扫荡”战役。日寇大规模“扫荡”失败后，为巩固其以徐州为中心的战略枢纽，对我淮北地区采取了“蚕食”和“伪化”的政策。其手段是首先在政治上进行欺骗，实行怀柔政策。组织上编组保甲，成立“反共自卫团”。其次是在上述手段无效时。即实行烧杀淫掠，摧残我根据地。淮北区党委于一九四三年夏．总结了各地斗争的经验教训，进一步采取了以武装斗争为主的方针。主力、地方武装和民兵相配合，组成武工队深入敌占区，全面开展反“蚕食”、反“伪化”的斗争。
    拔除敌伪据点，恢复被占领的地区，开辟新的区政权，建立了七十多个乡的游击区，坚决打击出扰的日伪军，各方面都取得了很大的胜利。基本上制止了日寇的“蚕食”和"伪化"活动。从而使淮北根据地得到进一步的巩固和发展。