山西
1972年7月，叶剑英在京西宾馆碰见廖汉生时告诉他："主席让我来看看你，说你已经出来了。"
叶剑英关切地问起廖汉生的健康情况，随后让他去解放军总医院做全面体检并接受治疗。
廖汉生天生闲不下来，总想尽快找点事做。在叶剑英的安排下，他去了军事科学院当政委，和老搭档宋时轮一起共事，宋时轮是那里的院长。
1975年大年初一，宋时轮和廖汉生去叶剑英家拜年，受到了热情招待。聊天时，叶帅对廖汉生说："汉生同志，你可能要换个工作岗位了。"
廖汉生之前就听说了自己工作要变动的消息。还没等他主动打听，叶帅直接告诉他："你接下来要去南京军区工作。"
廖汉生对重返军队感到很开心。这位身经百战的将军，在建国后一直在国防部和军事科学院任职，但他心里始终惦记着和基层官兵并肩作战的时光。
廖汉生从叶帅那儿得知一个好消息：他妻子白林的五哥杨尚昆已经重获自由。不过叶帅没提杨尚昆现在的下落和近况，廖汉生也就没继续追问。
没过多久，中央正式公布了廖汉生的新职务安排。根据毛主席的批示，原军事科学院政委廖汉生同志被调任南京军区，担任军区政委兼党委书记一职。
2月19日这天，叶剑英特意会见了廖汉生，就他即将赴任南京军区的工作做了具体指导。谈话内容主要涉及部队编制调整方案和人事安排等事项。廖汉生对叶帅的关心表示衷心感谢。
出发前，军事科学院特意为廖汉生举办了一场盛大的送别会。尽管身体不适，第一政委粟裕大将还是坚持到场，并发表了充满感情的致辞。老领导的这番心意让廖汉生深受感动。
2月28号这天，廖汉生带着家人坐飞机到了南京。就在他收到调动通知后不久，南京军区的两位领导——司令员丁盛和第二政委彭冲，专门从南京往北京打了电话。他们在电话里热情邀请廖汉生来南京任职，还表示希望他能早点过来接手工作。
廖汉生和丁盛合作很愉快，他们早就认识。1937年红军改编为八路军时，红28军和红2军团6师合并成120师716团，当时宋时轮是团长，廖汉生当副团长，丁盛担任二营党总支书记。那时候他们就开始共事了。
廖汉生和彭冲的交情也挺深。那会儿廖汉生是南京军事学院的一把手，彭冲正好管着南京市的党政工作，两人时不时就能见着。他们还一起拉过队伍，在体育馆搞过比赛。
廖汉生刚到南京军区工作就注意到，军区领导层里大家都不太待见张春桥。张春桥当时是南京军区第一政委兼党委第一书记。廖汉生还听人说，以前许世友当司令员的时候，压根不把张春桥当回事，还嘲笑他说："戴个眼镜夹个包，总结汇报有一套，真打起仗来准先跑。"
刚到南京时，廖汉生发现军区领导们都在自己家里处理公务，文件直接送到住所，秘书也住在家里。这些领导住得很分散，遍布南京各处。上任两个月后，廖汉生就这个问题明确表达了自己的看法。
廖汉生表示："这种做法有问题。作为军区领导，老在家处理文件、看电报不合适。文件送到家里保密性差，谁都能看见。而且领导之间不见面，商量事情也不方便。"
廖汉生最后强调："所有军区领导必须按时到机关报到工作！"在他的推动下，领导集体坐班制度正式实施。作为表率，廖汉生每天不到8点就到岗，不到下班时间绝不离开。所有公务都在办公室处理。
廖汉生开始着手整治部队风气，此前他已经对领导干部的作风问题进行了整改。
4月22日这天，邓小平和朝鲜领导人金日成带队的代表团一起到了南京。他们这次来是为了进行友好交流。在南京期间，朝鲜客人游览了玄武湖和中山陵，还去看了南京长江大桥，并参观了当地的无线电厂。
趁着工作空档，丁盛、彭冲和廖汉生三人抽空去了邓小平在中山陵9号的住所，简单汇报了南京军区近期的工作情况。邓小平特别强调，整顿部队要用正面引导的方式进行教育。
一回到军区办公室，廖汉生就决定要更严格地抓整顿工作。8月份开始，他带着副参谋长赵俊和政治部主任王展等人，专门跑了很多偏远分散的小连队和哨所去检查。
在部队里，廖汉生领着军长、师长和团长们去基层走访。他直接问士兵们："你们知道这些领导是谁吗？"要是战士们能认出来，廖汉生就会给予肯定，这说明这些高级军官经常下连队，和普通官兵打成一片。但要是有人完全认不出这些领导，廖汉生就会当场严厉批评。
廖汉生指出一个问题："部队里官兵制服没区别，军衔也看不出来。真要打仗的时候，你去前线指挥，说自己是军长、师长或者团长，底下人怎么知道你是谁？"
廖汉生在检查工作时明确指示，各级军官汇报情况不能照本宣科，必须做到有问必答、实话实说。通过他的实地调研，军队的工作风气有了显著提升。
