1937年7月，日本发动侵华战争，抗日战争全面爆发。根据国共两党谈判达成的协议，10月，江西、福建、广东、湖南、湖北、河南、浙江、安徽等八省的红军和游击队整编为国民革命军陆军新编第四军，或称国民革命军新编第四军，简称新四军，下辖四个支队，编入第三战区战斗序列，并规定在苏北、皖南地区担任游击。

叶挺为军长，项英为副军长兼政委，张云逸为参谋长，袁国平为政治部主任，周子昆为副参谋长，邓子恢为副主任。同年12月25日，新四军军部在汉口成立，1938年1月6日移至江西南昌。后移至皖南歙县之岩寺。

皖南事变之后，中共中央重建新四军军部，任命陈毅为代理军长，刘少奇为政治委员。

第一师：1941年2月，新四军苏北指挥部及所辖部队改编为新四军第一师。师长粟裕，政治委员刘炎，政治部主任钟期光。

第二师：1941年2月，由原江北指挥部及所辖部队改编组成，辖第四、第五、第六旅和津浦路东、津浦路西两个联防司令部，共1.8万余人。师长由副军长张云逸兼任，政治委员郑位三，副师长罗炳辉，参谋长周骏鸣，政治部主任郭述申。

第三师：根据中共中央确定的“发展华中”的战略方针和“增援新四军”的指示，八路军先后有4支部队越过陇海铁路南下华中，并在1941年1月皖南事变以后编入新四军。1941年2月，八路军第五纵队改编为新四军第三师，原第一、第二、第三支队依次改编为第七、第八、第九旅。师长兼政治委员黄克诚，参谋长彭雄，政治部主任吴文玉。

第四师：1941年2月，第四纵队改编为新四军第四师。师长兼政治委员彭雪枫，参谋长张震，政治部主任萧望东。

第五师：1941年4月5日，豫鄂挺进纵队改编为新四军第五师。师长兼政治委员李先念（后郑位三任政治委员），参谋长刘少卿，政治部主任任质斌。

第六师：1941年2月，由苏南新四军部队编成。师长兼政治委员和政治部主任谭震林，参谋长罗忠毅。

第七师：1941年5月1日，由无为游击纵队、第三支队挺进团和皖南事变突围部队编成。师长张鼎丞（未到职），政治委员曾希圣，参谋长李志高，政治部主任何伟。

浙东游击纵队：1943年12月22日，新四军军部命令三北游击司令部及所辖部队正式编为新四军浙东游击纵队。司令员何克希，政治委员谭启龙，参谋长刘亨云，政治部主任张文碧。

1945年10月，根据中共中央制定的的战略部署，以及在重庆谈判中向国民党作出的让步，新四军在浙东、浙西、苏南、皖南的部队先后北撤到长江以北地区。新四军军部和3支部队北上山东，第三师进军东北，第五师与八路军三五九旅南下支队、河南军区等部编为中原军区。12月3日，中共中央决定新四军军部与山东军区领导机关合并。新四军军长兼山东军区司令员陈毅，政治委员饶漱石，副军长兼军区副司令员张云逸（后增加罗炳辉），副政治委员黎玉，参谋长陈士榘，副参谋长袁仲贤，政治部主任舒同，副主任唐亮。1946年1月7日，成立山东野战军，陈毅、黎玉分别兼任司令员和政治委员。8月，陈毅司令员又兼政治委员。新四军兼山东军区下辖胶东、鲁中、鲁南、滨海、渤海五个二级军区，山东野战军（辖第一、第二纵队，第七、第八师），兵力约27万人。

留在华中的新四军主力部队和地方武装，编成了华中军区和华中野战军。