抗戰期間，殺妻出獄後的張靈甫參加了南京保衛戰、徐州會戰、武漢會戰、上高會戰、長沙會戰等重要戰役。血戰南京時，張靈甫曾組織敢死隊反擊，被日軍打成重傷，膝蓋嚴重骨折，後來人稱他是“跛腿將軍”。
抗戰勝利後，張靈甫升任74軍中將軍長兼南京衛戍司令，被稱爲御林軍統領，是蔣介石的心腹愛將。1946年，第74軍改編爲整編74師(軍)，轄整編51旅、57旅、58旅共3萬餘人，張靈甫被任命爲師長。
解放戰爭開始後，1947年3月底，蔣介石下令國民黨以24個整編師、45萬人，開始向山東解放區發起大規模進攻。此時，對老蔣愚忠的張靈甫急於搶頭功，他率美械裝備的整編74師甩開兩翼掩護部隊，孤軍深入，由垛莊經孟良崮西麓向我華野展開進攻。
1947年5月16日，我華東野戰軍5個縱隊，遵照陳(毅)粟(裕)首長的命令，於下午2時對張靈甫的七十四師發起總攻擊。3天裏，全部美式裝備的整編74師3萬餘人全部被我軍全殲，張靈甫當場戰死。
張靈甫戰死後發生了一事，粟裕指示：要妥善安葬。下葬前，還給張靈甫換上了解放軍的軍服。
在激戰時，我軍經過激戰後登上了孟良崮主峯七十四師指揮所。在洞外，我軍喊話：“趕快投降，繳槍不殺!”但是七十四師指揮所洞內無動靜。隨即，我軍部隊用輕機關槍、湯姆衝鋒槍及手榴彈，向洞內射擊。過了一會兒，洞內有人喊叫：”哎呀!你們不要打了，張師長被你們打死了。我們投降!”
聽到敵人投降的聲音後，我軍將士進去一看。只見：七十四師指揮所內的張靈甫，他頭朝東、腳對西，臥在地，胸部彈痕累累，軍裝破污，張靈甫戰敗身亡了。
孟良崮戰役結束後，打掃戰場的第6縱隊特工團遵命將張靈甫的遺體連夜搶運下山。對張靈甫之死，陳、粟等華東野戰野首長們，表現了極大的人道和寬容，陳毅和粟裕明確指示：第6縱隊要將張靈甫妥善安葬。
張靈甫戰死後，發生了一件令人稱讚的人道之事，就是對他進行了厚葬。當時，擔任華野6縱副司令員皮定鈞和政治部副主任謝勝坤一同主持了“張靈甫下葬”儀式。下葬前，謝勝坤花1000元錢，購買了一口4寸厚的楸木棺材。我軍戰士還給張靈甫洗臉，洗傷口，洗得乾乾淨淨，整理了他的容貌。
由於張靈甫戰死時，軍服破污不堪，在下葬時，又找不到國民黨的將軍服，於是我軍就給他換了一身嶄新的解放軍軍裝，張靈甫是身着解放軍的軍服下葬的。
掩埋張靈甫前，被俘虜的整編74師將校得到了允許，參加了下葬儀式。當時，被俘的一個國軍少將旅長和幾個上校提出：“想最後看一眼師長張靈甫的遺容，懇請批准。”皮定鈞首長對此說：“這些人跟着張靈甫，現在都當了俘虜了，還要看看他的遺容，這感情是難能可貴的。”當即同意了。這幾個國軍將校得到批准後，顫抖着走到張靈甫的遺體旁，他們圍成半月形，跪下後，痛哭流涕。
張靈甫被安葬好後，我方戰士還在他的墳前還豎了一塊木頭牌子，上書“張靈甫之墓”幾個大字，當時解放區的報紙還專門報道了此事。
