一丸三八年夏，日寇先后陷我蚌埠、徐州、开封，国民党军队纷纷清退。郑州、洛阳、武汉吃紧，中原战局告急，国民党三十万大军不战而退。为掩护其逃跑，企图以黄水阻敌偏安，竟不顾人民的死活，在花园口炸开黄河大堤，使豫东、皖北数十县尽成泽国，数百万人民的生命财产惨遭浩劫。在国民党的军政人员溃逃之后，汉奸、土匪、地主、豪绅、国民党的失意军人等，利用国民党军队撤退时遗弃的武器弹药，拉起了一股又一股武装，成立了一个又一个组织。什么维持会、良民区、自卫团、“游击队”（群众称他们为杂八队或呼隆队），三里一个司令，五里一个队长，还有自封委员长等，名目繁多，不一而足。日寇的烧杀淫掠，汉奸的为虎作怅，杂八队的打家劫舍，使豫皖苏三省边界地区一片混乱，人民群众流离失所，无家可归。
    五月，党中央、毛主席根据当时中原的战况指出；徐州失守以后，河南将迅速陷人敌手。我应准备向豫、皖、苏、鲁四省敌后发展。华中各地方党委要动员城市中大批学生、工人、革命知识分子和党员到农村去发动群众，组织游击队，开展抗日游击战争，建立游击区。根据党中央、毛主席的指示，河南省委将豫东西华县的自卫军，在西华特委书记沈东平同志领导下，组成“第一战区自卫军第七路”，由胡晓初任指挥，屈申庭、侯香山任副指挥，沈东平任参谋长，得到秘密党员西华县长楚博的支持，曾渡过黄泛区深入敌后打击日伪，沈东平同志在战斗中光荣牺牲，其他同志继续率领部队返回河西与日寇对峙。在睢县、杞县、太康组成由吴芝圃同志领导的“豫东游击队第三支队”，在敌后展开了游击斗争。为加强其力量，三八年七月，由省委在豫南确山组成一个连，称“萧大队”，由萧望东同志率领，进入睢、杞、太地区，配合吴芝圃部活动。
    一九三八年九月，周恩来、叶剑英同志指示河南省委．要将领导重心转向豫东，创造苏鲁皖边新局面，与八路军冀鲁豫部队勾通联系。当时豫皖苏地区，包括豫东十三个县、皖北八个县、苏北三个县、共二十四个县。该区是华北、华中我军联系的纽带之一，是我军发展华中敌后抗战、向东挺进苏北、向西连接中原的前进阵地，具有重要的战略地位。经党中央批准，由中央军委、毛主席决定，在河南省委部署下，由彭雪枫同志动员、组成了一个大队。为取得合法地位（因国共双方协议规定陇海线以南是新四军游击区），便用新四军游击支队名义，并由延安派来一批干部，向豫东挺进，建立敌后根据地。
    一九三八年九月三十日（后来为便于纪念改称十月一日），彭雪枫同志率游击支队直属队与第二大队（将萧望东同志所部改为第一大队）三百七十三人，由河南确山竹沟出发，抵达西华杜岗后，与“第三支队”和“萧大队”汇合，进行了第一次整编。全支队编为师直属队和三个大队，共一千零二十人，彭雪枫同志任司令员兼政治委员，吴芝圃同志任副司令员，萧望东同志任政治部主任，我为参谋长，同时成立了支队党的军政委员会。确定的任务是；继续向拓城、鹿邑、毫县、夏邑、永城、涡阳、蒙城一带前进，积极打击敌伪，消灭汉奸武装，发展人民抗日力量。自此，我们便展开了新的艰苦曲折的英勇斗争。
    十月二十七日，游击支队渡新黄河东进，首战窦楼，毙日寇少尉以下十余人。再战西陵寺、陈寨、宋庄、芦家庙、毫北坞墙集、永东大回村，初步打开了豫东抗战局面，扩大了我党我军的政治影响。一九三九年一月，支队主力（第一、二大队）进人永城县境。在永城、萧县t 宿县地方党组织、革命知识青年、人民群众及友军的支援下，积极打击日伪军和杂八队。马村桥战斗，重创日寇；东位台战斗，歼杂八队共一千余人羹 留在杞县的第三大队，在瓦岗附近粉碎了日寇两千余人的进攻。这一系列战斗的胜利，极大地鼓舞了豫东人民，许多青壮年踊跃参加我军。到三月份，部队再次进行整编，建立了三个主力团和随营学校。
    一九三九年五月，刘少奇同志指示：游击支队应派部东进泅县、灵壁、五河地区开辟工作。七月，支队决定由新四军高级参谋张爱萍同志率部分于部进入皖东北地区，与当地党的组织和八路军苏鲁豫支队、南下支队取得联系，开辟皖东北的工作；支队主力进军淮上，开辟宿县、蒙城、怀远、凤台地区，并于九月返回涡阳以北之新兴集。在此期间，永城县地方抗日武装领导人鲁雨亭同志受其父鲁紫铭老先生教育，在我党的团结争取下，毅然接受我党领导，遂将其部队编为第一总队，辖两个团、共九百六十人。随后，我党领导的西华部队第七路军胡晓初、侯香山同志，因国民党企图消灭这支革命力量，根据豫东特委决定率部东移。改编为第二总队，辖两个团。我党领导的萧县、宿酉地方武装，整编为第三总队（耿蕴斋任总队长），辖两个团。这时全支队已有三个主力团、六个简编团，连同地方武装共一万二千余人，并与新四军军部取得了联系。十一月，游击支队奉新四军军部命令（因未经国民党同意），改名为新编第四军暂编第六支队。我们即公布为第六支队，删去了“暂编”两个字。在作战胜利、部队壮大的同时、地方党政建设也取得了新的成绩，成立了豫皖苏边区党委，发展了各级地方党的组织，先后建立了永城、夏邑、萧县、宿西、毫北五个县的政权、较广泛地开展了群众工作，并卓有成效地进行了统一战线工作，争取了一些会道门组织。在打击日寇、清除汉奸、保卫家乡、减租减息、发展生产、改善人民生活各方面都取得了一定的成绩。至一九三九年冬，豫皖苏抗日民主根据地已初具规模，并且展开了全面建设根据地的工作。
    一九三九年十一月，刘少奇同志经豫南到达涡阳北新兴集，检查了豫皖苏边区的工作，并在十一月七日纪念十月革命节大会上，检阅了六支队大部分主力。他指出：大支队的斗争实践证明，党中央、毛主席的方针是正确的。六支队今后的工作应作如下布 置：在淮河以北陇海路以南的党所领导的一切武装部队，统一归彭雪枫同志指挥、集中 力量创造永夏萧宿四县根据地，加强地方工作，健全省委，发展地方党；加强部队的正 规化，进一步巩固和扩大主力部队；在一两个月后，主力部队及省委于部要抽一部分过 津浦路东去，创建苏北根据地；在皖苏建立秘密党和群众工作，准备游击战；在睢。 杞、太、鹿、商、毫等地建立小块根据地，以便将来联成大块，并将此内容于十一月十 一日电报中央书记处。据此，支队除进行豫皖苏边区及眼杞太地区的建设外，十二月又 派张太生同志率第一团及党政军干部百余名，到皖东北张爱萍同志处，归张爱萍同志领 导，加强皖东北的武装力量。
     一九四①年初，党中央、毛主席根据华中敌、伪、顽行动的基本特点指出：华中还 处在发展时期的有利形势。继续发展华中的进步势力，是制止国民党反共投降逆流和争 取时局好转的重要一着。中原局应当坚决地、有计划地在豫东、皖北、苏北建立民主政 权，与八路军密切协同，将整个华北直至皖南、江南打成一片。为了完成这一战略任务，党中央给予第六支队的具体任务是：确实掌握新黄河以东、淮河以北、陇海路以南， 西起开封，东到海边，将这个地区建成巩固根据地，坚决肃清反动势力，坚决建立民主政权，坚决不让任何反动派插手，并扩大军队到四方人。同时中央还确定调八路军三四 四旅等部队南下华中、以增强华中抗战力量。
    我们根据上述指示，进行了根据地的扩大和巩固工作：一是抽调大批干部充实永、夏、萧宿、毫五县政权，进一步发动群众，巩固和扩大工、农、青、妇儿童团、老人指导团等群众组织，大力巩固基本区，并建立了“豫皖苏边区联防委员会”作为边区的最高行政机构。二是以五个主力团向商邱、毫县、宁陵、夏邑和杨山敌占区开展游击活动，建立新的游击区，扩大根据地，并成立了杨南县政权。三是发展和扩大地方武装。先后成立永城、萧县、宿县三个独立团，并抽调一批地方武装充实主力部队。四是将随营学校扩建为“中国人民抗日军政大学第四分校”，招收边区内外知识青年，培养初级军政干部。这些措施，对豫皖苏边区的巩固与扩大，起了重要的作用。
    一九四O年三月中旬，日寇以三千余人的兵力“扫荡”我永城、萧县地区，我支队英勇奋战，粉碎了敌人的企图。这时日寇深感我军的壮大，确实已成为他们的“心腹之患”，遂于四月一日，纠集伪军共三千余人，对我第一总队进行合围，企图消灭我第一总队。总队长鲁雨亭同志率部于芒杨山西南之李黑楼与日寇展开血战，激战竟日，打退了日寇的数次进攻，予敌以大量杀伤。但鲁雨亭同志等二百余人亦以身殉国，壮烈牺牲。六月一日，我支队于新兴集召开“五卅”纪念大会，日寇趁机分数路袭击我军，纪念大会的会场变成了杀敌报国的战场。我参加大会的各部队，分数路与日寇激战于新兴集周围，打得敌人首尾难顾，不得不于黄昏败退。六月三日，我军在新兴集附近的鸭子刘家，继续召开“五卅”纪念大会，表达了我军誓雪国耻的坚强意志。“六一”战斗后不久，萧县成立了“萧县抗敌纵队”。各县均成立了自卫团司令部、与此同时，又成立了“豫皖苏边区保安司令部”，作为地方武装的统一领导机关，以便加强地方武装建社。 皖东北的工作，在张爱萍同志领导下，由于统战工作的开展，第一团东进和大批于部的调往，以及其他兄弟部队的共同努力，也得到了胜利的发展。一九四O年三月，国民党皖东北专员盛子瑾离去后，该区遂为我控制。苏皖区党委利用这一有利形势，组成了皖东北促进委员会，并委派了专员和县长。把该区我能掌握的部队整编为新四军第六支队第四总队，辖十一、十二团及三个独立团，张爱萍同志任总队长兼政治委员。特别是刘少奇同志五月初抵皖东北，给该地区的工作以有力的指导，并亲自指挥在该地区活动的八路军、新四军，粉碎了日寇的“扫荡”和打退了顽军韩德勤部的进攻。至一九四O年七月，六支队共有一个特务团、三个主力团、四个总队（均辖两个团）、萧县抗敌纵队、永城独立团、宿县独立团、睢杞独立团和毫北独立大队共一万九千五百余人．以永城县为中心的豫皖苏抗日民主根据地，已建立了五个县的政权、淮上办事处、五个县的办事处，以及津浦路东的皖东北和新黄河以东的睢杞太两个地区；各级党的组织也得到了很大的发展。此时，为豫皖苏抗日民主根据地的全盛时期。