蒋介石的头号敌人:日本！

张作霖乘大胜冯玉祥、阎锡山联军之机，步步紧逼。冯玉祥压力最大，感觉到了危急关头，他和阎锡山急请蒋介石领导北伐。蒋介石的黄埔门生们也函电交驰，呼吁他复出挽救危机。汪精卫颜面失尽，出走法国。蒋介石回任军事委员会主席和北伐总司令，实际统摄政府和军事大权。

蒋、桂、冯、阎四派联合组成国民革命军四个集团军，出动70万兵力，于1928年4月9日对奉系军阀张作霖发动总攻。奉军出动60万兵力迎战，很快处于劣势。4月30日，奉军张宗昌部、孙传芳部弃济南而逃。

济南有日本侨民约2000人，东京内阁批准派出福田彦助将军率麾下5000名士兵“保护日本国民及其财产”。蒋介石在5月1日进入济南城，发现福田的5000名士兵帐篷遍布城里城外。他与福田和气地会谈，可是国军第40军士兵已经在城里撕扯日本国旗，冲突终于无可避免。次日，日军炮轰一部分城区，打死数百名民众。

5月3日，正当蒋介石派人与日本军方交涉时，恰有两个日本兵被流弹打死。日本侵略军这下找到了挑衅借口，大举向中国军队驻地进攻。日本侵略军凶焰万丈，不论官兵，见人就杀，一时尸体遍街，血流成河，哀声动地，中国军队7000余人被迫缴械。日军还逮捕了外交部济南特派员蔡公时，声称有人从他的办公室朝日军开枪。蔡公时拒绝下跪，也不肯指出谁开枪。日本人割他的舌头、剜他的眼珠，然后开枪打死他和10多位部属。5月5日，蒋介石照会福田，他将率领全部国军渡河，只留下少数在城里维持秩序。

国民革命军在当地约有10万兵力，远远超过日军人数，蒋介石的部下和冯玉祥的联络官力主调来旧大炮对付日本人。蒋介石知道日本的武装部队有飞机、坦克、重炮和重型机关枪，实力远胜过国军，而且东京会不惜投入大量兵力来报复。他考虑再三，觉得没有胜算可能。若战败，必定无法继续北伐实现中国统一，还要使国家更加耻辱，唯有忍受眼前之辱才是上策。

济南惨案对蒋介石的心理产生重大冲击，他在1928年5月3日的日记中写道：“身受之耻，以五三为第一，倭寇与中华民族结不解之仇，亦由此而始也！”此后，蒋介石坚持每天在日记中写上“雪耻”二字。

济南惨案之前，国民党曾经有过联日反共的意图。但是，日本人支持军阀阻挠北伐，反对中国统一的坚决态度，彻底粉碎了国民党联日反共的全部希望。况且，这个时候的国民党已经不将共产党放在眼里，消灭军阀统一中国才是根本利益。日本严重妨碍到国民党的根本利益，也就成了蒋介石的头号敌人。​​​​​​​​​