1927年10月下旬，廖乾五在中共中央机关担任中央直属机关党小组组长，任务是接待和组织全国各地到中央报到、等待分配工作的党员学习文件，总结革命斗争的经验和教训。随后，他被分配到中共中央军事部（一度改为中央组织局军事科）工作。由于他在北伐战争中名声大，认识他的人很多，不宜外出活动，因此他主要搞机关内部工作。这一阶段，他抓紧时间读了不少书，回顾总结大革命以来的工作和经验教训，经常和一起工作的同志交谈，教导青年同志从事地下斗争的方法和策略。他虽然年纪大、资格老、威信高，但谦虚谨慎，平易近人，说话幽默风趣，而且为人慷慨大方，喜欢帮助别人，俨然是一位和蔼可亲的老大哥，深受同志们的敬重和爱戴。周恩来很关心廖乾五的工作和生活，曾多次晚上化装到承德路一条小巷廖的住处去看望他。
1928年春，中共中央派廖乾五到北方工作。他到北平后，立即受到国民党特务的跟踪，被迫一日数迁，无法开展活动。在高文灏（又名高幼湘，是廖在武汉时教过的学生，时在北京大学上学）的资助下，他化装秘密离开北平，到密云县暂时隐蔽。当时密云县城驻扎着军阀的部队，兵多百姓少，无法活动立足，廖乾五只好辗转仍回上海，在中央军委工作。
1929年，中共中央又派廖乾五到中共湖南省委从事地下工作。1930年廖乾五在中共湖南省委军委任职，负责兵运工作。任职不久，即不幸被国民党湖南当局秘密逮捕，作为“要犯”羁押入狱。
廖乾五投身革命多年，出生入死，身经百战，忧国而忘家，早已把个人生死利害置之度外。因而被捕后，任凭敌人威胁利诱，软硬兼施，他横眉冷对，沉静坦然，绝口不谈党和军队的任何机密。国民党湖南省主席何键惧于廖乾五在军界和民众中崇高的威望和影响，不敢公开审讯，于1930年9月3日下令将他在长沙市郊秘密杀害。
廖乾五牺牲时，年44岁。他没有子女，没有留下遗物，也没有留下遗言。他自1921 年起投身于共产主义事业，就随时准备献出自己的生命。1927 年春，他在筹备“铁军”阵亡将士追悼大会的启事中写道：“革命的流血本算不得什么稀奇的事，因为没有流血牺牲的代价便换不到革命胜利，我们后死者对于这个看得十分明白。”他的这段赤诚而豪迈的肺腑之言，可算作烈士的不朽遗言。
无产阶级革命的忠诚战士廖乾五永垂不朽！安康人民永远崇敬和缅怀你！
