1925年11月，中共广东区委军事部长周恩来多方努力，以铁甲车队为基础，组建国民革命军第四军（军长李济深） 第十二师三十四团，任命刚从苏联回国的共产党员叶挺为团长，周士第为参谋长。廖乾五升任第十二师政治部主任，随第四军讨伐广东省南路军阀邓本殷。对部队进行常识教育，把政治工作做到民众中去，是廖乾五开展军队政治工作的一个显著特色。南征战斗中，由于廖乾五领导的政治工作在联系民众、鼓舞士气等方面所起的重要作用，南征主力师官兵同仇敌忾，奋勇杀敌，和友军一起，经过短短两个月战斗，邓本殷军便土崩瓦解，一败涂地，邓乘船逃往国外。至此，广东南部获得解放，全省统一，南征取得完全胜利。
1926年7月，国共两党共同进行的北伐战争在“打倒列强，除军阀”的雄壮口号声中正式开始。7月10日，独立团攻占湘东重镇醴陵，各界群众举行欢迎大会，廖乾五等发表热情洋溢的讲话。会后，各界团体推举廖乾五任县行政委员会委员长（即县长）。廖乾五在师团军会议作战前动员时说：攻下平江，为北伐战争统一祖国立功，即使受伤残废了，牺牲了，垂光祖国，也是光荣的。简短的几句话，给到会军官以极大的鼓舞。此役，不到10小时，攻占了平江城，俘敌1000余名，缴获大炮11门，各种枪支1000余支。
在北伐战争时，军队的政治部主任是没有指挥部队作战的权利的。但是，廖乾五由于过去久居楚地，熟悉当地地理环境，善于谋略。为了“以求达到农民和工人之利益”，他主动参与筹划和指挥了第四军在两湖的重要战斗。汀泗桥战役和贺胜桥战役的胜利为北伐军清扫了通往武汉的道路，极大地鼓舞了全国人民的斗志，有力地推动了两湖工农运动。
9月中旬，第四军政治部主任由廖乾五代理。攻克武昌前夕，廖乾五以全部精力投入攻城的各项准备工作。10月8 日夜，廖乾五派军政治部宣传队员数人爬墙进入城内，张贴布告、标语，散发传单，动员敌军投降并宣传安抚城内群众。10月10日凌晨2时许，陈可钰、廖乾五督促第四军，会同第八军猛攻武昌城，激战至上午8时攻克收复武昌城。
在北伐战争中，以廖乾五任政治部主任的第四军打得最好，被誉为“铁军”。第四军尤其是第十二师和叶挺独立团之所以在军事上取得一系列胜利，与中国共产党重视军队政治工作和廖乾五在四军出色的政治工作有很大关系。廖乾五以其政治工作的卓越成绩，受到中共中央军事部长周恩来和苏联军事顾问戈列夫的高度评价，“铁军”政治部主任廖乾五名扬全军。
