１９３７年底至１９３８年春，在日本侵略军大举进攻下，华北重镇太原、济南相继沦陷，国民党军队向南溃退，地方政权瓦解，使平汉、津浦、陇海、石德四大铁路之间的广大地区成为真空地带。河北省委和山东省委根据党中央和北方局的指示，深入这一地区发动群众，建立抗日武装，为创立冀鲁豫抗日根据地打下了良好的基础。
１９３８年春，直南、豫北、鲁西南地方党组织，建立了游击队，初步打开了冀鲁豫根据地的局面。同年底，八路军第一一五师部队进入鲁西南地区，推动了该地区的抗日游击战争和根据地的建设。１９３９年２月，八路军第一一五师第三四四旅代旅长杨得志等率部分兵力，从晋东南进到濮阳、内黄、滑县一带，和地方武装合编为冀鲁豫支队，开展游击战争，连续取得反日伪军“扫荡”的胜利。到年底，部队扩大到７０００余人。１９４０年４月，八路军第二纵队主力在黄克诚率领下，由太行山区东进到冀鲁豫边区，同冀鲁豫支队会师合编，成立冀鲁豫军区，黄克诚兼任司令员，崔田民任政治委员。同时，成立鲁西军区，萧华任司令员兼政治委员，杨勇任副司令员。不久，黄克诚根据中央军委命令，率八路军第二纵队第三四四旅和新编第二旅由冀鲁豫南下，加强华中抗日根据地。到１９４０年底，冀鲁豫根据地向南发展到陇海路，西面、北面接连晋冀豫根据地，东面与山东根据地相邻。１９４１年１月，冀鲁豫边区行政主任公署成立，晁哲甫为主任，崔田民、贾心斋为副主任。至此，包括直南、豫北、鲁西南地区的冀鲁豫抗日根据地初步形成。
抗日战争进入相持阶段后，冀鲁豫根据地处在极端困难时期。根据地军民执行精兵简政、主力部队地方化、敌进我进等方针，粉碎了日伪军多次“扫荡”，度过了严重困难局面。
１９４１年７月，中共中央北方局决定，冀鲁豫区与鲁西区合并，成立新的冀鲁豫区党委、军区和行署。新的冀鲁豫区党委书记张霖之，行署主任晁哲甫，新的冀鲁豫军区仍由２纵队兼任，纵队司令员杨得志，军区司令员崔田民，纵队兼军区政治委员苏振华。为了统一冀鲁豫边区，加强对敌斗争，１９４２年底，中共中央决定将湖西区及豫皖苏水东区划归冀鲁豫边区，黄敬任区党委书记。
