1881年1月间，张怀芝到舅父家借年受气，决定外出闯荡，遂随族亲张在信去天津谋生，后在当地从军，为军队饲养马匹七年。1885年6月，张怀芝以弁目选入天津武备学堂第一期炮兵科学习，他立志学文化，谦虚好学，不耻下问，经过刻苦努力，终于熟读了《步兵操典》等军事书籍。1890年毕业，提升较快。1895年(光绪二十一年)12月，袁世凯在天津小站编练新军，张怀芝遂被编入新建陆军，初为伍长，后任北洋过山炮队领官。1900年8月八国联军入侵北京，张怀芝率炮队借调于武卫中军攻击东交民巷使馆，在慈禧太后携光绪帝和王公大臣离京西逃时，张怀芝率部督战，扼制敌军，因护驾有功，得到赏识和重用。1902年任北洋常备军左镇步队第四标标统。

1903年(光绪二十九年)，张怀芝任北洋常备军左镇步一协协统，奉命到山东组建北洋常备军陆军第五镇。1904年张怀芝调任山海关防营统领。1905年7月署理陆军第二镇统制官。1906年9月任南

1912年后，任帮办山东防务大臣，天津、保定镇守使及察哈尔都统等职。1916年袁世凯称帝时，封为一等男爵、济武将军。袁世凯死后，投靠皖系，任山东省督军兼省长。1917年12月任湘赣陆军检阅使、北军第二军总司令，率部由赣入湘，参加第二次南北战争。1918年5月任援粤总司令。皖系失败后，又转归直系，1919年任参谋总长。1924年第二次直奉战争期间，任北洋政府参谋总长兼前敌总执法处处长。直系战败后，去职闲居。1934年因病卒于天津。

1911年，辞职闲居济南时，在济南名胜万竹园旧址置地40余亩，耗巨资兴建私人宅邸。他征集大江南北的能工巧匠，为其设计施工。至1927年，工程方告竣工，形成一组规模宏大的江南园林和北方庭院相结合的建筑群。1922年，他捐资重修皋上村静觉寺；同时建村小学1处，计4栋28间，定名为“张氏小学”。