清朝末年改行新军制，于安庆设立安徽武备练军学堂。余亚农长兄余申甫及次兄余丹甫均去就读。武备学堂改陆军小学后，在兄长的影响下，清光绪三十年（1904年）余亚农考入该校。两年后，徐锡麟任安徽陆军小学堂会办，暗中号召推翻清廷专制政权，余亚农受其革命思想的启蒙。陆军小学毕业，升入北京清河镇陆军第一中学。两年后，入保定军官学校入伍生队学习。在此期间，经常与志同道合的同学研究时事，抨击时弊，经吴禄贞介绍于宣统二年（1910年）秘密参加了同盟会。

武昌起义前夕，余亚农受吴禄贞之命，去汉阳联系湖北新军起事。在汉阳，因起事日期尚未最后确定，乃离鄂返皖，进行联络。时值合肥光复，其次兄及孙品骖等人在合肥大同书院成立军政府庐州分府，余亚农前去襄助。后南京临时政府成立，孙中山任临时大总统，柏文蔚任革命军第1军军长，驻浦口、徐州一带。余亚农被推为全椒民军司令，复应聘为第1军训练处代理处长。

民国元年（1912年）2月，袁世凯篡国，余亚农亦随第1军被解除职务，调入刚成立的保定军校学习。民国2年7月，孙中山组织武装讨袁，发动“二次革命”，安徽宣布独立。柏文蔚组建安徽讨袁军，自任总司令。余亚农闻讯后离校南下，投入讨袁淮上军张孟介（汇滔）部任营长。9月，“二次革命”失败，袁军接连发出通缉令，严密搜捕孙中山、黄兴、李烈钧等人，张汇滔、郑赞丞护送孙中山避居上海，余亚农亦追随张汇滔逃亡去沪。当时，合肥王亚樵正因组织社会党反对军阀而被迫出走上海，余亚农与王亚樵在庐州军政分府曾经相识，乃随王亚樵参加讨袁护法运动，自此成为王亚樵秘密组织的主要成员。民国3年7月8日，余亚农响应孙中山号召，赴日本东京参加中华革命党成立大会。返沪后，联络同志，图谋起事。王亚樵建议爆炸北京政府，迫袁退位，孙中山未予同意。王亚樵乃命余亚农在上海吕斑路文德里秘密制造炸弹，拟去爆炸上海警察厅，然后举事。不料火药爆炸，余亚农面、

民国17年5月3日，日本侵略军在济南制造“五三惨案”。余亚农奉命率部防守黄河大桥，与日本军第6师团斋藤旅团发生激战，官兵虽有重大牺牲，但终于保住了大桥。同年，奉军被驱逐出关后，蒋介石“编遣国会”，1929年1月，国民革命军各部缩编。89师被缩编为44师131旅，余亚农任旅长，调驻安庆集贤关。8月，余亚农调任45师134旅旅长。9月，方振武因反对所谓的“编遣”，被蒋介石软禁于南京。蒋介石欲将45师师长鲍刚与第6师师长方策对调，鲍刚不服，在芜湖起兵反蒋，余亚农闻讯后，于安庆北门外集贤关营园客厅，将奉蒋命前来“点编”的嫡系部队第26路总指挥兼第6师师长方策扣押，率所部开进五祖山，树旗反蒋，终因众寡悬殊而失败，方策收编45师残部，接任师长。余亚农流亡上海。

蒋阎冯中原大战爆发后，余亚农乘船去天津转郑州，被冯玉祥委为豫皖边区第1路军司令，活动于中原。后因内部不团结，该部为蒋介石分化瓦解。余亚农重返上海。

日军投降后，余亚农应中共华中局邓子恢之邀，赴苏北与蔡蹈和、郑抱真等共商大计。回沪，经沈钧儒、沈志远介绍，加入民主同盟，复以“民革”名义开展兵运工作。1949年冬，余亚农与中共地下工作者一起在宁、沪、芜间进行策动起义活动，以协助大军渡江。

解放后，余亚农先后任华东军政委员会委员、皖北政治协商委员会副主席、皖北行署监委会副主任、安徽省人民政府委员、副省长等职。1959年去世，享年72岁。中共安徽省委员会在余亚农病危时，根据他本人的请求，批准他为中国共产党正式党员。