通过多年的颠沛流离，廖乾五广泛接触了劳苦大众，体会到了社会的弊端和不平，又经过较长时间的学习和思索，在拥护孙中山的三民主义的基础上，更加坚信只有马克思主义才能拯救灾难深重的中华民族。
1921年8月，他经共产党人包惠僧、李汉俊介绍，同施洋等人参加了武汉马克思主义学说研究会，接受其学说，成为一名马克思主义者。次年，经董必武、陈潭秋介绍，廖乾五在武汉加入了诞生不久的中国共产党。他经常到工人、店员、学生中去宣传、组织活动，并将《资本论》、《马克思学说》等书籍送给路过武汉的平利同乡严銮坡，殷切希望马克思主义能在家乡传播。
1923年2月1日，京汉铁路总工会在郑州召开成立大会，宣布成立总工会，廖乾五同项英、陈潭秋、施洋、许白昊、李之龙等共产党员领导了江汉口岸铁路工人的罢工斗争。2月7日，1万余工人举行声势浩大的集会游行，并冲进租界示威。吴佩孚在帝国主义唆使下，派军警包围江岸分会，悍然向工人纠察队开枪，当场打死36人，伤200余人，被抓捕100余人，江岸分会委员长林祥谦和京汉铁路总工会法律顾问施洋惨遭杀害，造成震惊中外的“二七惨案”。廖乾五在敌人疯狂屠杀时侥幸跑出，和项英一起坐小船到汉口，回到了法租界长清里熊晋槐的家中。他们在这里建立了铁路工会秘密联络处，做遇难被捕工人的善后工作。
12月30日，根据中共中央三届一中全会关于“必须帮助国民党扩大组织，在国民党有组织的地方改组其组织，没有组织的地方我党为之创设”的指示精神，廖乾五同项英、刘芬等人在汉口成立了国民党汉口市党部筹备处，廖乾五任副主任。
1924年1月，中国国民党第一次全国代表大会在广州召开。廖乾五、李立三以汉口特别区选派的代表，参加了这次大会。大会闭幕后，廖乾五回到汉口，积极协助林伯渠建立国民党汉口执行部，并代理宣传部工作。
4月，中共中央决定撤销武汉地委，设立汉口、武昌地方执行委员会，由中共中央直接指导。改选后的中共汉口地方执行委员会委员长为包惠僧，委员有廖乾五等，成为武汉地区中共党组织的建立和开展国民革命的主要成员之一。
5月13日，设在汉口德润里23号的汉口地委机关遭敌破坏，包惠僧适逢到上海参加党的会议未返，廖乾五、项英外出工作，得以幸免。由于3人都在反动当局明令通缉之列，在武汉已无法立足，中央决定项英在上海负责全国工人运动，派廖乾五、包惠僧到广州参加军事工作。
