1946年12月3日，敌七十四师在正面排开大量重炮，对解放军阵地猛轰，又用飞机投掷高爆炸弹。随后，坦克引导步兵向解放军阵地发动猛攻。经过两日激战，第六师坚守的第一线村庄先后陷落。12月5日夜，王必成发动反击，但被敌七十四师的重机枪击退。反击失利后，王必成迅速总结了经验教训，决定以坚守消耗敌军。他将全师梯次展开，构筑了纵深的野战工事，节节抗击敌军进攻。在9天9夜的血战中，第六师官兵始终将进攻之敌阻击在涟水南面。然而，张灵甫进攻涟水南面仅仅是佯攻，正当第六师在涟水城南面苦战之际，张灵甫亲率主力绕道从西面直扑涟水。14日拂晓，敌七十四师主力在城西突然出现，第一道防线当天就被突破。傍晚，第七十四师的兵锋进至废黄河大堤。王必成急忙抽调一个旅返城。然而，张灵甫也集中重兵向第二道防线强攻，突破多处解放军阵地。
15日上午，奉命支援的我第六师十六旅赶到，王必成亲自赶赴城西前线，硬是把敌七十四师赶了下去。当夜，谭震林紧急命令我六师十八旅也回援涟水城。
然而，张灵甫抓住王必成援军未到的战机，集中炮火向解放军城西阵地猛烈轰击，后以营、团为单位连续发起集团冲锋。
15日中午时分，敌七十四师从涟水西门、南门先后突进城内。经受过严格巷战训练的敌七十四师，以班排为单位，充分发挥火焰喷射器和火箭筒的威力，与解放军进行逐街逐屋的争夺。在敌强我弱的形势下，解放军守城部队在当天下午先后撤退。我第六师主力撤出时，王必成被警卫员和参谋人员强架着北去。
第二次涟水之战，解放军共毙伤敌军8000余人，但自身也付出了重大代价，仅我第六师就有5000多名指战员血洒疆场。
涟水失陷，陈毅盛怒之下要将王必成撤职查办，但粟裕了解王必成，认为他是一员不可多得的战将，主张改为留职检查。王必成对陈毅、粟裕说:“日后打敌七十四师，绝对不要忘了我王必成的六师！”粟裕当即表态:以后，凡我华东部队组织歼灭敌七十四师的战役，一定让六师参加，一定让王必成同志参加，并将此命令记录存档。
1947年春，山东、华中新四军进行统一整编，组成华东野战军，以陈毅为司令员兼政委，粟裕为副司令员，谭震林为副政委，王必成任第六纵队司令员。2月，王必成率华野六纵参加莱芜战役，创造了一个纵队在一次战役中歼敌2.4万余名的辉煌战绩。5月，他又率部参加了著名的孟良崮战役。结果，他“指挥所部勇登孟良崮峰顶，击毙国民党军第七十四师师长张灵甫”。
1949年2月，遵照中央军委的统一命令，华东野战军正式改编为中国人民解放军第三野战军，王必成部改编为第八兵团(陈士矩任司令员)二十四军，王必成任军长，后任第七兵团兼浙江军区副司令员、浙江军区司令员。陈丕显在谈到王必成时曾说:“他是很能打仗的，而且善于打大仗，打硬仗，从不打‘滑头仗’。他不愧为人民解放军的一员虎将。”