四一二蒋介石叛变革命，激起廖乾五的极大愤慨。1927年4月15日，廖乾五、张发奎等主持召开国民党第四军各级党部执监委员会议，一致决议“本军全体同志，誓为前锋”，讨伐叛党军人蒋介石。4月18日，国共两党联席会议决定继续北伐。廖乾五同第四军一起参加了第二次北伐。6月20日前后，廖乾五在汉口向中共中央军事部部长周恩来汇报工作后，继续抓紧四军政治训练工作。
7月中旬，周恩来在武昌召集党的活动分子会议，部署从事军事工作的中共党员集中南昌、九江一带，做联张（发奎）反粤的准备工作。周恩来考虑到廖乾五年纪较大，身体不好，准备留下另行安排工作，廖乾五一再表示“坚决要去”。于是周恩来批准了廖乾五前去南昌、九江的请求。
1927年7月23日下午，廖乾五和恽代英到达九江。7月24日，中共中央正式决定在南昌举行起义，并决定组成以周恩来为书记的前敌委员会，组织领导这次起义。同日，在有叶剑英、叶挺、贺龙、廖乾五、高语罕五人参加的甘棠湖的一条小船上，叶剑英将他在庐山上听到的汪精卫、张发奎密谋要调贺军长、叶师长上山的消息告诉大家。经过短时间的磋商，认定这是汪、张扣押贺、叶，罢其兵权的阴谋，做出了贺、叶不上庐山，不接受张发奎调贺、叶部到德安集中的命令，以及贺、叶部队立即开往南昌的三项决定。甘棠湖上的这次秘密会议，史称“小划子会议”。它挫败了汪精卫的阴谋，为发动南昌起义发挥了重要的作用。
7月31日凌晨，廖乾五赶往设在百花洲心远中学的第十一军二十四师指挥部，协助师长叶挺指挥部队行动。8月1日凌晨2时许，起义时刻来到了，中国共产党领导的军队向国民党反动派打响了武装反抗的第一枪。起义成功后，中共前敌委员会宣布成立一个革命委员会，廖乾五被任命为革命委员会宣传委员会委员及二十军（军长贺龙）党代表。8月3日至5日，起义军先后离开南昌，准备南下广东东江地区建立根据地。
9月初，起义军到瑞金。廖乾五和周逸群在瑞金锦江边一所小学里介绍二十军军长贺龙加入了中国共产党。周恩来出席了贺龙的入党仪式并讲了话。贺龙入党后编入有周恩来、张国焘、廖乾五、刘伯承、周逸群等为成员的中央特别小组。中共前敌委员会在瑞金召开的二十军连以上干部会议上，周恩来宣布前委决定，任命廖乾五兼任二十军政治部主任。
9月2日，贺龙和廖乾五率二十军为前锋，由瑞金向汀州进军。9月18日，起义军进抵广东大埔，敌军1.5万余众对起义军进行阻击。贺龙、廖乾五等率部与敌展开激战，5000 多名起义军伤亡过半。在形势恶劣的情况下，10月3日下午2 时左右，周恩来召集前委、革委、各军及地方负责干部联席会议。会上传达了中共中央决定，宣布今后要打红旗，分田地，继续战斗。根据中央指示精神，会议决定起义部队立即撤向海陆丰，非武装人员分赴香港或上海，还宣布贺龙、刘伯承、林伯渠、廖乾五等立即离开部队，由香港绕道上海，回中央另行分配工作的决定。
