1928年黄郛在济南突然被老蒋撤职，他说道：这事真让我没齿难忘！

1928年正在为蒋介石和日本人进行谈判的黄郛突然接到蒋介石的电报，老蒋在没有通知黄郛的情况下，已经免去了他外交部长的职务。得到这一消息的黄郛如遭受晴天霹雳。他怎么也没有想到自己这边还在为蒋介石做事，人家那边已经将自己撤职。后来黄郛给张群的信中写道：济案所受刺激，公私两项皆为生平未有之伤心事……实令我没齿不能忘。

济南事件
1928年重新上台的蒋介石再次开始北伐，如今的北伐战争局势只剩下东北奉系军阀一家。在北伐军的各方合力之下，讨伐奉系军阀的战斗也是节节胜利步步推进，很快就攻克了济南。
北伐军的顺利作战引起了日本人的高级警觉，他们认为按照北伐军目前的形势，一旦战胜奉系军阀，将会对自己在东北乃至中国的整体利益产生巨大威胁，因此他们必须阻止北伐军继续北上。
于是在1928年的5月1日日军悍然向济南城进行了武装攻击。当时济南城中不仅有的黄郛、蒋介石，还有刚刚从泰安车站赶过来的冯玉祥。这几位可以说都是当时南京政府中的大人物，一旦产生什么意外，后果不堪设想。
很明显日本人制造的这一事件只想立威，警告南京政府谨慎行事。在此过程中，中国军民共被日军打死打伤四千七百余人，蔡公时等十余名外交人员也遭到残杀。在一个主权国家境内竟然发生这样的恶性事件，真是前所未闻，令人发指。
面对日本人的行为，蒋介石，黄郛和冯玉祥这三位坐在一起商议对策。冯玉祥是西北军阀出身，当时就表示要以牙还牙，先将对方俘虏了再说。而蒋介石则心思深远，他自认目前的北伐军还不是日本人的对手，如果直接产生冲突必将授日本人以把柄，甚至会直接干扰北伐军征讨奉系军阀的进程。
黄郛作为当时的外交部长，对蒋介石说日本人此举主要不是为了产生冲突，意在警告。所以他建议可以和日本人进行接触谈判，通过外交的手段解决此次争端，而北伐军绕道继续北伐。
黄郛此言正中蒋介石下怀，于是他便同意了黄郛的建议，让黄副前去和日本人谈判。但是耐人寻味的是蒋介石特别叮嘱到让黄郛以个人名义前去行事，不要声明代表他蒋介石。
背后一刀
蒋介石的叮嘱自然有他自己的打算，他深刻知道在当时的南京政府中很多人还是血气方刚的，面对日本人制造的此次事件，众人必将要求展现强硬态度。
如果让他们得知黄郛是代表着他蒋介石的态度前去和日本人进行交涉谈判，必将再次削弱蒋介石在国民党政府中的声望，也会让政府中反对他的人再次有机可乘。
果然如同蒋介石所设想的一样，济南事件在当时中国引起了巨大反响，国内舆论纷纷指责日军的蛮横无礼，要求政府对日进行强硬还击。
而当国内得知黄郛此时正在和日军进行协调谈判时更加怒不可遏，纷纷指责黄郛软弱无能，甚至认为他为卖国之人。
蒋介石见到国内舆论如此激烈，而南京政府内的指责也甚嚣尘上，于是他和冯玉祥坐在一起商议对策。
蒋介石说到目前党内对黄郛的意见颇大，不知该如何处置。而冯玉祥则趁机说不如将黄郛外交部长的职务交给王正廷来做。蒋介石一听也心知肚明，这个王正廷正是冯玉祥麾下的心腹，冯玉祥这一建议看似为自己解决，实际上也是在替自己谋利益，但是此时黄郛在国内舆论中已经处于非常被动的位置，目前来看也只能牺牲他来保全大局。
于是在黄郛还在济南替蒋介石跟日本人进行周旋的时候，却突然收到蒋介石的电报。蒋介石在电报中告诉黄郛他即日已经被免除了外交部长的职务。得知消息的黄郛无比震惊，自己在这边替他蒙受巨大压力和日本人进行谈判，他这边却反手捅了自己一刀，免除了自己的职务，将所有问题都推到了自己的头上。
黄郛在震惊失望之下给张群的书信中这样写道：济案所受刺激，公私两项皆为生平未有之伤心事……实令我没齿不能忘。
心灰意冷的黄郛于是干脆辞掉了在南京政府中的所有职务。但是黄郛和蒋介石的关系不仅是上下级那样简单，他更是当初蒋介石在日本的拜把子二哥。
虽然黄郛对自己这位把兄弟的行为极其的难过伤心，但是在不久之后他又为了这位兄弟的请求再次出山。