他是建国初期地位最高的开国大将，曾与八位元帅并列，活到了84岁

1937年，陕北红军按照国共两党签订的合作协定改组为八路军，接受国民政府的领导，并由第二战区提供后勤补给。八路军在建立之初，为了向国民党军看齐，维护统一战线，曾尝试取消人民武装特有的政治委员制度和政治部制度，转而和国军一样建立政训处。

此举完全是本末倒置，引发了不少尖锐的问题，比如缺少政委和政治部的引导，很多战士慢慢丧失了对革命的信心，部队的士气和凝聚力因此下降了不少，除此之外，一些干部因为缺乏政委的约束，开始搞官僚主义，这严重影响了革命队伍内部的团结。

一些同志为此很是着急，他们担心八路军再这样下去会彻底走向堕落、失去战斗力和共产主义信仰，于是便写信给毛主席，请主席酌情恢复政委和政治部制度。主席对此事的态度比较谨慎，并未立即批准同志们的申请，而是派遣黄克诚将军前往一线作战部队展开调查，充分了解相应情况，而后再决定是否恢复政委和政治部。

黄将军随即奉命奔赴山西前线，先后在4个革命根据地进行调查，结果发现部队没有政委和政治部的约束，军纪确实散漫了不少，如果再这样下去，恐怕会闹出大乱子。于是黄将军立即将相关情况汇报给党中央和毛主席，主席随即召开中央扩大会议，最终在大家的一致同意下，决定恢复人民武装的特色，重新将政治工作重视起来，以维护部队的团结和凝聚力。

而在八路军整改过后不久，黄克诚将军也随即接到了新的任命，被派往河北协助徐帅开展敌后抗战工作。1940年，为加强华东地区的抗战力量，中央军委派遣黄将军率领一支八路军部队南下淮海，与一支新四军部队合兵一处，共同开辟了淮海革命根据地。皖南事变爆发之后，黄将军所部被改编为一个加强师，下辖8000余众，另外还保有两千多人的民兵、游击队，实力可谓雄厚。

1944年，黄将军根据中央军委的命令，组织麾下部队对日伪军展开反攻，取得了诸多胜利，将淮海军区的实控范围几乎扩大了一倍。1945年中旬，他又奉命率部北进，横渡渤海湾进入东北，接受林帅的领导，增强东北地区解放军的武装力量。解放战争爆发后，他在西满军区担任高干，平时主要负责指挥军区下辖的部队配合东野主力作战，1948年，他被调到东野后勤部门工作，参加了江南、锦州等战役。

建国后初期，黄将军暂时驻留在湖南，指挥部队征剿土匪、流寇，维护地方治安，1952年，他被调到总后勤部工作，同时兼任总参部、军委高干。当时管理军委日常事务的是彭老总，有时候老总去国外访问或者生病休养，总是会指定黄克诚暂时主持军委工作，因此，黄虽然只是大将，但他手中掌握的实权却与元帅们相当，而和他同级别的粟裕实际上要听从他的“指挥”。

1959年，彭老总在政治局扩大会议上遭到了众人的批评，处境十分尴尬、危机，这时，黄将军站了出来，他严厉反驳了一些对彭老总的不实指责，替老总分担了一部分“火力”。然而，此举非但没有让彭老总摆脱囹圄险境，反而使得自己也遭受牵连，被革除职务，甚至一度受到隔离审查。

动荡时期，黄将军又受到迫害，被居心叵测者关进了一座偏僻的小院子中，过着失去自由的生活，期间他的身体和心理均遭到严重伤害，有一天冬天他甚至差点被活活冻死！一直到1977年，党中央方才为他平反，并安排他重回部队工作。此时的黄将军已然身心俱疲，他当下只想尽快退下去安度余生，可党中央却坚决不同意他离休，在1977年下旬，陈云同志曾三次找他谈话，请他担任中纪委、军纪委高干，监督军政干部们的言行举止，遏制不良风气在革命队伍蔓延，以保持共产党人的纯洁性。

时间来到1984年，黄将军的身体状况越来越差，他的双目几近失明，双腿也基本失去行动能力，出行全靠轮椅，他实在没办法再继续为国家建设做贡献了，党中央这才批准他离休，并准许他享受副国级高干待遇。在人生的最后几年时间里，黄老将主要精力全部放在学习毛主席思想、理论上，借以充实精神世界。两年之后，黄将军走到了人生的尽头，时年八十四岁。