张群1949年1月担任西南行政长官之后，很快到四川上任。他把“团结、自卫、自给”作为自己施政的三大要旨，想竭力稳定西南形势。这时候，中国人民解放军已取得三大战役的胜利，正调集雄师百万，准备打过长江去，解放全中国，国民党政府的败局已定。由于国民党蒋介石拒绝在国内和平协定上签字，致使和谈破裂，以张治中为首席代表的国民党全体和谈代表滞留北平，多数参加了新中国的筹备工作。
1949年4月17日，李宗仁见自己无力控制局势了，于是致电蒋介石，请求他重新担任总统。蒋介石回电要与代总统李宗仁及新上任的行政院院长何应钦在杭州召开紧急会议，张群也从西南飞赴杭州参加了这次国民政府最高决策会议，以应付最后的危局。这时候，在强大的人民解放军的压力之下，国民党的这些首要人物最后决定采取强硬态度，顽抗到底。他们表示，要与中共对抗到底，要联合国内“民主自由”人士，要何应钦兼任国防部长，统一军队指挥，要加强国民党内部团结，改善党政关系。会议还决定李宗仁继续担任国民政府的代总统，蒋介石担任国民党的委员长，并且宣布与共产党和谈已彻底崩溃，政府迁往广州，继续与共产党对抗。对于蒋介石的决策，张群自然没有什么意见，在接受了蒋介石的再三嘱托之后，他匆忙返回西南，布置西南防务去了。杭州会议后的第二天，也就是4月22日，百万中国人民解放军突破长江防线，并在24日占领了国民党政府首都南京，李宗仁等匆忙出逃，南京回到了人民的手中。
张群回到重庆以后，不断地宣传团结，呼吁各方势力团结一致，共同应付危局。可是川、康、云、贵四省首领各有打算，使得张群焦急万分。8月24日，蒋介石从广州赶到重庆，与张群商谈确保大西南的方案，他们认为陕西的关中、宝鸡一带已经失守，陇海路也已经被中共所控制，并且中共正在进攻秦岭一带，因此他们判断中共主力应该会从川陕公路进攻四川，而不会走地形险要的两湖西部和四川东部。于是，蒋介石命令胡宗南率领三个兵团重点防守川北，罗文广带领第15兵团增防陕南一带，并调杨森防川北。8月29日，蒋介石主持了西南军政会议，召来了胡宗南、宋希濂及各兵团司令，还有各省主席、各边区军政负责人，听取西南防务现状及对策“汇报”，张群指定自己的代参谋长刘宗宽作“情况判断”汇报，但他自己不知道，其实刘宗宽早已投奔了革命，心向共产党了。刘宗宽迎合蒋介石的判断，断言解放军必学三国时的邓艾，由陕入川，必须加强对胡宗南部的支持。报告得到胡宗南的大力呼应，也更加坚定了蒋介石的判断。最后蒋介石沉重地强调了保存西南对于国民党的意义，西南地区地形险要，人力、物力充足，足可以成为复兴的基地，将成为国民党政府在大陆的一个坚固据点。接着，他以抗战期间国民政府退居西南、最终胜利为例，鼓舞下属的士气。然后他做出以陇南、陕南作为决战地带，重点防御川北，并要求各部听从张群的指挥，取得胜利。
当时，刘伯承、邓小平、贺龙具体负责解放西南的战事，刘宗宽向他们报告了重点防御川北的布置，建议从川东进攻，并把蒋介石搞的川东防御部署的具体情况，以及存在的漏洞详细报告过去。其实，毛泽东早已做出了大迂回、拦腰截断大西南的战略部署，刘、邓、贺得悉蒋介石方面的情报之后，决定将计就计，佯装进攻川北一带，而实际上主力迅速南下，准备从川东的两湖一带发动攻势。最终，解放军突然从湘西西进，直出贵州，占领了川东、川南，拦腰截断了国民党的大西南防线。在解放军的强大攻势下，川湘鄂绥署主任宋希濂、川鄂边绥署主任孙震、贵州绥署主任谷正纲等人连连向重庆告急，张群听了各方的报告，大惊失色，按照他们原先的判断，解放军主力将从川北方向进攻，可现在解放军却在东部发起了攻势，并且势头强劲。张群心里难以决断，无法确定是主攻还是佯攻，而此时，正值解放军进攻金门失利，蒋介石父子飞往台湾，去宣慰他们所谓的“金门大捷”了，所以重庆方面的事情张群也不好妄自作主。沉默一会儿后，张群让长官公署参谋长联系胡宗南的消息，胡宗南告知张群目前川北方向未见解放军发动攻击的迹象，秦岭、大巴山防线安若泰山。得到这个消息以后，张群进一步分析：假如东线是佯攻，那么，解放军的主攻也将很快在北线发起，假如北线过一段时间仍然没有动静，那就说明解放军的主攻方向就在东线。因此，张群非常关心北线的情况。十几个小时以后，川北方向仍然没有动静，张群立即意识到问题的严重性，他们的部署出了问题，解放军的确在东线发起了主攻。于是当即让刘宗宽发出三封电报，一封是发往台北，告知蒋介石“西南防线”的东部情况，请他火速返回重庆坐镇指挥。第二封是发给东线三位绥署主任和四个兵团司令官的，要求他们死守，为“党国”复兴保住基地命脉。第三封发给第15兵团司令官罗广文，令该兵团由川北东运綦江，准备增援宋希濂集团。他哪里知道，他的参谋长早已不是他的人了，他这三封机密电报，很快也到了中共手中。结果川东部署迅速瓦解，前去支援的罗广文部在白马山一带遭到解放军伏击，被歼大半，余部溃散。11月26日，刘、邓大军向重庆挺进，11月27日，国民党见重庆已没有守住的可能，蒋介石便授权国民党特务，对白公馆、渣滓洞及新世界监狱的“政治犯”实施了灭绝人性的大屠杀，制造了震惊中外、骇人听闻的大惨案。29日和30日，人民解放军先后占领了长江南岸各渡口。30日凌晨，蒋介石沮丧地匆忙乘机逃离重庆，张群飞往成都，企图作最后的抵抗。临行前，他还不知道刘宗宽的底细，将率领西南军政长官公署官兵往成都撤退的重任交给了他。而刘宗宽命令总务处长率队先行，自己则躲了起来，投向了人民解放军。11月30日下午，人民解放军进入市区，重庆宣告解放。
重庆解放以后，成都已经是门户打开，蒋介石和张群知道，成都也是危在旦夕了，于是商议进一步的退路。他们认为，云南一带地处边疆，靠近越南、缅甸等国，据守有着诸多有利条件，于是打算退往云南。但是，云南地方实力派向来对蒋介石有防范之心，与国民党中央貌合神离、明争暗斗，因此，蒋介石试图利用张群和云南省主席卢汉的私人关系，到云南说服卢汉腾出昆明，让国民党中央军事指挥机关和西南长官公署迁到昆明。张群领命后，于12月7日飞赴云南。
当时云南革命活动已经进行得如火如荼，卢汉与当地的中共武装力量已经有所接触，已有了准备起义的打算。此时，蒋介石命他“进剿”中共在云南的“边纵”武装力量。卢汉为了应付，表面上调动部队前去“进剿”，而实际上派第93军军长、自己的内弟龙泽汇暗地里到石林五棵树村与“边纵”副司令朱家璧会晤，并通报了“进剿”情况，还带去了枪支弹药支援“边纵”，商议准备近期采取行动。所以，张群到昆明与卢汉商谈搬迁事宜的时候，卢汉以种种理由和借口拒绝搬迁，并提出需要大笔搬迁费用和大批武器后才能搬迁为理由，回绝了蒋介石的要求，张群只好在12月9日回成都，向蒋介石汇报卢汉的情况。蒋介石立即面授机宜，让张群返回昆明控制局势，安抚卢汉。
随着国民党战事的一败涂地，虽然张群与卢汉尚未谈妥搬迁事宜，国民党许多中央机关已经溃逃到了云南，有的已经挤进昆明，整个昆明人满为患。国民党陆军总部参谋长汤尧带了一万多人马到了曲靖，也想进入昆明。而蒋介石也已经察觉到卢汉近期会有行动，在派张群前去安抚的同时，又准备派第八军军长李弥调一个师的兵力进驻昆明，监视卢汉，甚至在考虑毛人凤提出的除掉卢汉的建议。因此，局势非常紧迫，卢汉决意起义。
12月9日晚上，张群返回昆明后，卢汉便以张长官回到昆明、召开会议的名义，向驻昆明国民党中央各机关、各军各单位发出开会通知，特别列出在昆明的沈醉、李弥等七个重要实权人物的名单，令其到卢公馆开会。七人遵令按时到会，卢汉便将他们全部扣押，同时软禁了张群。按照12月9日事前的约定，卢汉与刘文辉、邓锡侯、潘文华分别在云南昆明、西康雅安、四川彭县同时宣布起义。
扣留这些国民党高官以后，卢汉派人做他们的工作，要他们一起参与起义，沈醉审时度势，表现积极，当即签字表示愿意起义，第八军军长李弥最顽固，但是最后也无奈地签了字。张群被软禁以后，知道处境危险，就想利用自己与卢汉的个人关系，谋一条生路，于是写信给卢汉，回忆旧日交情，表示以后不再过问政治，希望能给他一个机会，让他到香港做一个寓公。12月10日下午，卢汉派云南省代主席杨文清前来劝说张群一起起义，张群向杨文清表示了个人的难处，他说我也同情你们的难处，你们起义我也可以理解，国民党的败局确实无法挽回了。对于蒋先生的所作所为，我也有不满的地方，可我早年就参加了国民党，和蒋先生的私人关系你们也是知道的，我有自己的难处，不能和你们一起起义，这个请你们理解。请你转告卢汉，就算是你们将我交给共产党，我想我与中共高层也有一些交往，他们也不会把我怎么样。希望他念在旧交，把我放了，我以后就到海外，做个寓公，不再过问政治了。卢汉听了杨文清的回报后，决定放了张群，并给他一封短信说：“此次明公来滇，任务至重，大势已去，以是公情私谊，惟有送公赴港，无以报德。”正巧法国寰球公司有架飞机离开昆明，卢汉就安排张群上了飞机，飞赴香港，这次是张群仓皇离开大陆，再也没有回来。他当时的心情，我们已经无法推测了，也许既有被释放的庆幸，也有一败涂地的苦楚。飞机中途遇雨，当晚在越南海防降落，第二天到达香港。张群当然没有留下来当寓公，而是乘船前往台湾，回到蒋介石那里去了。1950年，周恩来总理对卢汉释放张群一事有自己的看法，他说，卢汉未与我们商量，便把张群放了。如果不放的话，我们可以当作筹码与张学良交换。