抗日战争爆发后，曾希圣由军委2局局长改任八路军总参谋部第2局局长。1940年春，从延安到重庆八路军、新四军办事处工作。由于他长期从事情报工作，被国民党特务盯上了，准备对他下毒手。在周恩来、叶剑英的安排下，他化装成周恩来的警卫员逃出虎口，来到了皖南新四军军部。
1940年秋，蒋介石集团开始掀起第二次反共高潮。1941年1月4日，新四军军部及所属9000余人部队，遵照国民党军事当局的命令并经中共中央同意，移师北上，6日行至泾县茂林地区，突然遭到预先埋伏的国民党7个师8万余人的包围袭击。在双方兵力悬殊的情况下，新四军英勇拼杀，血战7昼夜，终因弹尽粮绝，除2000余人突围外，大部被俘、失散或牺牲。军长叶挺被国民党当局无理扣押，副军长项英突围后遇害。史称“皖南事变”。1941年1月20日，中央军委发布命令，重建新四军军部，任命陈毅为新四军代理军长，刘少奇为政治委员。中央军委和新四军军部命令，将皖南突围部队与原先在江北分散独立活动的几支部队汇合在一起，组成新四军第7师，任命曾希圣为政治委员，当时师长因故未到职，第7师初创时实际上由曾希圣军政工作一肩挑起。
5月1日，新四军第7师在无为东乡白茆洲大胡家正式成立，全师共有1900多人。主要活动于巢南山区、无东，以及皖南繁昌、铜陵地区。
曾希圣具有兵运工作的经验，为了巩固和发展第7师和根据地，他非常重视做好敌伪军的工作。第7师成立后，他就组织开展对敌伪军的争取瓦解工作，首先开办敌工干部训练班，在培训骨干的基础上，抓紧建立情报站，派人打进敌伪据点，把工作做到敌人的心脏里去，及时难确获取了大量的军事情报，使根据地军民能提前做好反“扫荡”的准备。他组织建立的秘密的情报站、交通站，及时提供敌伪活动情况，有效地掩护了我方人员，开展分化瓦解工作，促成了部分日伪军投诚反正。
曾希圣把红军时期开展军事情报的工作经验运用于皖江地区抗日斗争，加强对7师情报工作和侦察电台的领导，师机要科、通信电台和侦察电台都由他直接领导，在他的师部办公室和卧室的隔壁，就是无线电台工作的机要科，从那时开始，他就制定了党管密码的原则，亲自兼任电台中队政委，要求各团政委也兼任电台指导员，从而大大加强了对报务人员的政治思想领导，这一做法后来成为机要工作的重要守则。曾希圣除了强调要保守新四军的密码，还决定成立侦察电台，大量破译敌人的密码，并亲自抓密码破译工作。虽然他是师长，公务繁忙，但十分注意钻研技术，对于师部电台侦听来的敌人的电报，他基本上都能破译出来，还培养了一大批情报和密码破译人才。
曾希圣领导的新四军第7师在与敌伪顽夹击的斗争中不断发展壮大，部队由开始时的1900多人，到抗日战争胜利前夕发展到近3万人，皖江抗日根据地也迅速发展壮大，面积达3万余平方公里，成为全国19块抗日根据地之一。
解放战争时期，曾希圣继续转战南北，先后担任华东野战军第4纵队政委，中共中央华东局国民党统治区工作部部长，第二野战军副参谋长，豫西军区司令员等职，驰骋于山东、河南等地。
