民国元年（1912年）2月，袁世凯篡国，余亚农亦随第1军被解除职务，调入刚成立的保定军校学习。民国2年7月，孙中山组织武装讨袁，发动“二次革命”，安徽宣布独立。柏文蔚组建安徽讨袁军，自任总司令。余亚农闻讯后离校南下，投入讨袁淮上军张孟介（汇滔）部任营长。9月，“二次革命”失败，袁军接连发出通缉令，严密搜捕孙中山、黄兴、李烈钧等人，张汇滔、郑赞丞护送孙中山避居上海，余亚农亦追随张汇滔逃亡去沪。当时，合肥王亚樵正因组织社会党反对军阀而被迫出走上海，余亚农与王亚樵在庐州军政分府曾经相识，乃随王亚樵参加讨袁护法运动，自此成为王亚樵秘密组织的主要成员。民国3年7月8日，余亚农响应孙中山号召，赴日本东京参加中华革命党成立大会。返沪后，联络同志，图谋起事。王亚樵建议爆炸北京政府，迫袁退位，孙中山未予同意。王亚樵乃命余亚农在上海吕斑路文德里秘密制造炸弹，拟去爆炸上海警察厅，然后举事。不料火药爆炸，余亚农面、腿均受伤，因而被法租界巡捕房拘留3个月。被释后，仍在沪、粤过流亡生活。
1917年，孙中山领导护法运动期间，余亚农曾投滇军方声涛部，任夏述唐旅参谋。1922年陈炯明叛变，孙中山蒙难永丰舰，下令讨贼，余亚农参加东路讨贼军许崇智部，任第8旅16团第3营营长，不久败于广州石碑，乃离职返沪。
国共两党合作后，余亚农返回安徽，与孙品骖等人发动“讨曹（锟）驱马（联甲）”运动，后因奉军进攻而失败，孙品骖下野，余亚农只身走保定，去天津。不久即自天津投奔国民军第5军方振武部，初任参议。1926年3月，国民军第5军参与国民军与直、奉军的南口之役，转战晋北。余亚农任第2（混成）旅第6团团长。8月，国民军兵败，5军退至五原。9月，国民联军成立，5军余部被整编为国民联军第2军，余亚农任第2军第8旅旅长。
民国15年9月，冯玉祥于五原誓师，参加北伐。国民联军出兵援陕，解西安之围。余亚农率全师官兵经察、绥、宁而援陕，解救了被围困8个月的杨虎城部。民国16年春，余亚农率部经三原，出潼关，进驻襄樊。此时，冯玉祥部国民军改隶蒋介石指挥，国民联军加入国民革命军，改编为第2集团军，宣布全军集体加入国民党，参加北伐。方振武所部第2军扩编为第3方面军，隶属第2集团军，余亚农升任第1军第3师师长。不久进入豫西，以期与北伐大军会师中原。10月，因与冯玉祥矛盾频起，方振武率所部脱离第2集团军建制，投入蒋介石的第1集团军，所部改称中央直属第9方面军，参与讨伐唐生智。1928年3月，南京政府二次北伐，方振武所部此时已改编为第1集团军第4军团，余亚农改任第34军89师师长。
