1937年8月13日淞滬會戰爆發。戰鬥持續了70多天，但上海終究還是沒能守住。10月26日，中國守軍被迫轉移。
日本全面侵華後，國民黨政府即向國聯呼籲制止日本侵略。國聯建議召開《九國公約》簽字國及其他與遠東事務有直接利害關係的國家參加的會議，調解中日衝突。會議原定於1937年10月30日在比利時的首都布魯塞爾召開。蔣介石希望在上海無論如何要有一支部隊能夠守到那個時候。1937年10月26日，剛剛升任五二四團團長的謝晉元接到任務，死守上海最後陣地，吸引日軍，掩護閘北地區友軍撤退。
26日深夜，謝晉元帶着400多個弟兄，退守四行倉庫。初到四行倉庫時，有英租界士兵詢問謝晉元帶多少士兵駐守，謝晉元爲壯聲威答曰800人。
謝晉元與衆將士堅守四行倉庫4天4夜，擊退日軍6次進攻，斃敵數百人，被當時的報紙媒體稱作是“八百壯士”。然而，就在壯士們邊戰鬥邊修工事，準備與敵人作長時間的殊死決戰時，10月30日統帥部命令孤軍停止戰鬥，退入公共租界。
紀念郵票
10月30日，“八百壯士”奉命撤入租界，原商定經滬西返回部隊參戰，但租界工部局卻屈服於日軍壓力，違背諾言，解除了將士們的武裝，將他們扣留在膠州路一塊空地上，英勇抗敵的壯士們，成了名副其實的“孤軍”。
被監禁的時間在無限期延長，抗日戰場上的中國軍隊又連連失利，有時基本的軍餉都供應不上，孤軍中的苦悶情緒越來越重。蔣介石一次次發電報，讓謝晉元和孤軍們一定要艱苦奮鬥，堅守孤軍營。
那段時間，團長謝晉元常常失眠。雖然很多人不理解，但是謝晉元依然艱苦地堅持着。他在日記中無比傷感地寫道：餘竭盡心血，對內對外之艱苦支持，已至力竭聲嘶。使餘有呼天不應，呼地不靈之痛。當餘追憶幾年來經過時，不禁流淚，誠以幾年來之慘痛生活，何以用言語形容。
1940年3月，汪精衛僞國民政府在南京正式成立，他派人以陸軍總司令的高官向謝晉元誘降，謝晉元把委任狀撕得粉碎，他說：我父母都是中國人，生下我這個兒子也是中國人，中國人絕不當外國人的走狗。
1941年4月24日，謝晉元和以往一樣率領官兵早操，但這一天突然有4個士兵遲到了。謝晉元問他們爲什麼遲到。沒有想到這4個士兵突然拔出匕首行刺。謝晉元團長身中數刀，流血不止，下午6時悲壯長逝。那一年，他37歲。
4個兇手當場被擒，後交代是汪僞政府收買所爲。
謝晉元遇刺後，孤軍營裏官兵的士氣越來越低迷。1941年12月8日，日本突襲珍珠港，太平洋戰爭爆發，租界不再是安全島。困守4年有餘的孤軍淪爲日軍的戰俘。
