他5年遭4次撤职，一度从师政委被贬为普通战士，仍被授予大将军衔

1931年，在王明的一再要求下，红军内部开始进行“整肃”，很多优秀的军政干部被打为“右派分子”，先后受到迫害。时任红军某师政委的黄克诚将军对于“整肃”很是反感，数次拒绝执行上级分派的“整肃”任务，同时主动为被冤枉的干部求情、鸣不平。

此举惹怒了王明，不久之后，在王明的授意之下，军委对黄克诚施加了处罚，撤掉了他的军职，将他降为文职干事。后来，“整肃”被取消，黄克诚又官复原职，重新担任师政委。有些同志劝黄要学会中庸，不能太锋芒毕露，否则要吃大亏，但黄是个直性子，他向来有话直说，从来不会拐弯抹角。

1932年，红军连续打了好几个胜仗，消灭了上万敌军，缴获了大量武器装备，而且还将苏区的实控范围扩大了不少。一些红军官兵因此开始轻敌，不断贬低国民党军，称国民党军都是草包，随便放两枪都能将他们吓得屁滚尿流。俗话说骄兵必败，贸然轻敌的话以后肯定是要吃亏的！

黄克诚为了纠正大家的错误思想，接连召开了好几次思政会议，要求所有官兵要戒骄戒躁，充分备战，正视敌人，千万不能搞“虚无主义”。后来，上级决定趁势攻打武汉，将共产主义的影响力扩张到华中。黄克诚对此坚决反对，他表示红军缺乏攻坚手段和攻坚武器，贸然打武汉实在不妥。此等苦口良言却被上级误解为“投降主义言论”，上级随即再度将他撤职，安排他到某步兵营担任教导员。

1935年，1方面军在进入贵州之后，进行大整编，将所有师都缩编为团，湘江一战之后，很多红军干部战死，各团都缺少指战员，因此上级首长便又重新启用黄克诚，任命他当团政委。攻打遵义城的时候，红军蒙受了比较惨重的损失，这让黄克诚非常心疼，于是他便找到彭老总，建议红军以后不要再打大城市了，尽量保存势力，否则家底子都要拼光了。

但此时正是长征最关键的时刻，千万不能说丧气话，因此彭老总严厉训斥了黄克诚，不许他再“胡说八道”，可黄克诚却不听从老总的劝告，转而又向军委打报告，结果遭到军委的严厉批评，他政委职务被“撸掉”，军委干脆让他去战斗连队当普通士兵。彭老总是非常欣赏黄克诚的，他为了保护黄克诚，又偷偷将黄调到军团司令部工作。

1935年下旬，红军进入川西藏区，这里土地贫瘠，人烟稀少，红军得不到粮食补给，只能靠吃野菜和树皮充饥，一些战士因为长期营养不良，患上了严重的“乏力症”，没办法跟上大部队，只能跟在队伍后面慢慢走。在此期间，有一些掉队的战士对革命生出了悲观情绪，开始传播一些不利于团结的言论。

上级首长得知此事后很是生气，随即将黄克诚叫过来，让他枪毙几个掉队的战士以儆效尤。黄克诚也听到过一些不好的言论，但他并没有将其当做一回事，他觉得战士们有意见是非常正常的，只要加强思想教育即可，没必要这么上纲上线的。而且贸然杀人可能会引发哗变，因此他拒绝执行命令。上级首长觉得黄克诚太过仁慈，缺乏决断力，不适合当干部，因此再度将他撤职。

5年之内，他四起四落，甚至一度被降为普通战士，经历之坎坷令人赞叹。可即便如此，他也没有更改初心，他自始至终都坚持理性，从来不支持“左”，也绝对不会偏向“右”，心中有什么不快的事情他也会立即表达出来，从来不藏着掖着，最终于1955年被授予大将军衔。党中央很欣赏他刚直的性格，在80年代力请他到中纪委工作。他上任之后，马上开始整顿部队的作风和纪律，严厉打击贪腐现象，从来不姑息任何人。

有一次，一位解放军干部在招待所吃饭的时候，所花费的饭钱远远超过了公务接待标准，黄克诚闻讯后，马上给该干部打去电话，勒令其自掏腰包将饭钱补上，否则军法处置。对方自然不敢违抗黄将军的命令，马上掏钱弥补差价。后来，黄克诚生病住院，医生给他开了很多昂贵的药延续生命，但他觉得自己已经时日无多，再用药完全是浪费，所以一再拒绝用药。1986年，这位为革命事业做出过杰出贡献的伟大革命战士因病去世，时年84岁。