这时，武汉革命政府总政治部秘书长、共产党员李一氓率总政治部先遣队赴上海开展工作。
他带来了总政治部主任邓演达给同学好友薛岳的亲笔信。
薛岳阅信后，与李一氓促膝交谈，对蒋介石不信任自己深为不满，劝李说上海情况不好，要谨慎。
不久，薛岳获悉白崇禧要将第一师调离上海的消息，立即找到上海的中共中央委员会负责人，建议把蒋介石作为反革命抓起来。
但是，中共方面并没有下与蒋介石决裂的最后决心和实力，只能建议薛岳装病以拖延撤离时间。
薛岳有些失望地离开了。
蒋介石果然痛下杀手，他先是在第六军方面清党，采取收买、缴械和分化的方法，把整个六军解体，六军军长程潜和党代表林默涵被迫逃离南京。
然而，蒋介石又将薛岳第一师调离上海到京沪线护路，旋即解除了薛岳师长一职。
4月7日，蒋介石任命白崇禧为上海驻军司令。
4月11日，蒋介石在南京下达密令：已克复的各省，一律实行‘清党’。
接到密令，白崇禧立即行动。
1927年4月l2日，是中国现代历史上最血腥的日子。
这天，白崇禧依靠上海帮会首领杜月笙、黄金荣的支持，杀害了上海总工会委员长汪寿会，并将上海总工会工人纠察队解除武装，制造了震惊中外的4·12政变。
蒋介石在上海公开屠杀共产党人后，各地纷纷仿效。
粤、闽、江、浙等东南诸省及四川也先后发生了一系列屠杀中共党员和革命群众的事件，如许克祥在长沙发动了马日事变，李济深、黄绍竑在广东、广西进行了清党。
一时间，神州大地，乌云滚滚，血雨腥风。
4·12政变是中国现代历史的一个转折。
蒋介石集团背信弃义的突然袭击，使得生气蓬勃的中国大革命被葬送了。
从此以后，内战代替了团结，独裁代替了民主，黑暗的中国代替了光明的中国。
蒋介石在上海巩固了其地位，秘密部署反共清党之后，一不做二不休，决定另立中央，在南京成立国民政府，与武汉的政权相对抗。
蒋介石等人的倒行逆施，激怒了武汉国民党中央和国民政府。
4月16日，汪精卫首先发表通电斥蒋。
第二天，武汉国民党中央发表通电，开除蒋介石党籍。
宁、汉遂告分立。
被解职的薛岳仍然处于矛盾中，他一边反对蒋介石屠杀工人的做法，不愿意与他们同流合污；另一方面，他对共产党人虽是同情，但又不愿意像叶挺、叶剑英那样，加入共产党，参加革命。
他最终采取消极的态度，以有病为由，怅然离开第一师，南下广东，投奔老军长李济深。
然而，当时的李济深是拥蒋反共的，这使得薛岳最终选择了一条反共道路。
陈煕鼎在《一九二六年北伐的片断回忆》中谈到了薛岳的离职情况：约在四月底，我们接到本师师长薛岳印发的告第一师官兵同志书，大意是：自己身体多病不能再工作下去，离开部队以便安心疗养，我没有带走公家一分钱，所存公积金均由军需人员结算清楚，作为加发你们的薪饷等。
全师官兵对师长这种挂印封金而去，无不感到震惊。
事后才听说，师长乃是不愿意看到国共两党合作变成两党斗争而离开的。
对于薛岳的动态，当时北京的《世界日报》有所报道：薛岳辞职照准，蒋已委邓振铨继任。
（《世界日报》4月30日）薛岳罢免后，鲁涤平已改变倾左态度，表示不干政治，发表宣言……谓将一意整军。
（《世界日报》5月3日）白祟禧部师长薛岳，前次因病辞职，兹闻薛又在粤任省防……（《世界日报》7月12日）薛岳怅然离开了上海，但他这次进上海的表现给中共领导人留下了深刻印象。
1944年5月21日，毛泽东在中共六届七中全会上作工作报告时曾预言：一九二七年我们曾经配合薛岳占领上海，但是随即受到国民党的袭击。
我们要将薛岳进上海变为陈毅进上海。
而且我们有了几十个薛岳。
（《在中共六届七中全会上的工作报告》，《毛泽东文集》第3卷，第141页）历史果然按毛泽东设计的轨道前进。
1949年，陈毅指挥第三野战军夺取上海，并被任命为新中国上海市第一任市长。