张伯行自幼即聪敏好学，受父亲、祖父的影响，品德也很高。十三岁时就通读了四书五经。

康熙二十年（1681年），张伯行考中了举人，

康熙二十四年（1685年），中殿试三甲八十名，赐进士出身。

康熙三十一年（1692年），补授内阁中书，从此步入仕途。后来，张伯行遇父丧归乡，建立请见书院，并讲解宣传儒学。

仪封城北原有堤，康熙三十八年（1699年）六月因遭大雨而被冲垮，伯行招募民工用口袋装土来堵塞。河道总督张鹏翮巡视黄河后，上疏推荐张伯行能够治理河务。皇上命他以原来的官衔到河工任职，督修黄河南岸堤二百余里，以及马家港、东坝、高家堰各工程。

康熙四十二年（1703年），张伯行被授为山东济宁道。适逢灾荒之年，便从家乡运来钱和粮食，并缝制棉衣，用来解救百姓的饥寒。康熙帝命令按各道救济灾民，张伯行便拿出仓谷二万二千六百石有余赈济所属汉上、阳谷二县。山东布政使责备他独断专行，准备上疏弹劾，伯行说：“皇上有旨救灾，不能说

清初的社会意识形态和学术氛围，对张伯行有很大的塑造作用，他学宗“程朱”，以弘扬程朱理学为己任。他不遗余力地传播程朱理学，批判陆王心学，反对佛道思想。他不但信奉程朱理学，而且还把这种理学思想应用到日常的为学、为政和为人中去。

在为学方面，张伯行每到一处就广建书院，积极传播程朱理学，排斥其他学术，并搜集刊刻先贤文集；在为政方面，他关心河务，全心为民，并注重地方稳定，忠于职守，受到清圣祖的多次褒奖；在为人方面，他一介不取，为官清廉，不畏强权，刚直犯上。张伯行不仅是一位理学大家，更是一位尊崇躬行的理学实践者。他的理学思想主要包括“性理”学说、反对姚江、重视主敬、排斥佛道和尊崇躬行等五个方面。

张伯行刚成进士时，回家乡南郊建造了一座精制的房屋，摆上了数千卷书以供纵情观览，看到《小学》、《近思录》，以及程、朱的《语类》，说：“进入圣人的门庭在这里呀！”他曾全力找到宋代理学四大学派周敦颐、程颢、程颐、张载、朱熹各位大儒的书，一边诵读一边抄录，前后共七年。最初任官时曾说：“圣人们的学问，概括为一个‘敬’字，所以学习没有比掌握敬更重要的。”因此他自号为“敬庵”。又说：“君子懂得义，小人只知利。老子贪生，信佛的人怕死，烈士追求名声。这都是属于利。”

在官时所招致的，都是学问醇正、志向操行清廉的人，而且开始不让他们知道自己是做官的。平时对于意见不合的人，也仍与他们共事，开诚布公，同心协力，没有一点怨恨。他说：“已得到皇上的保全，怎敢以私而废公呢？”

康熙朝倡导清官政治，社会风气推崇清官，官员也以居官清廉为荣，这是张伯行成为大清官的历史背景。“我为官，誓不敢取民一钱”，这是张伯行的名言。由于当时官员

康熙帝：①伯行居官清正，天下所知。②素性偏执，且短于才，封疆之寄不能胜任。③伯行操守为天下第一。

郎廷极：才性短偏，多疑苛细。

《清史稿》：清世以名臣从祀孔子庙，斌、陇其、伯行三人而已，皆以外吏起家，蒙圣祖恩遇。陇其官止御史，而廉能清正，民爱之如父母，与斌、伯行如一，其不为时所容而为圣祖所爱护也亦如一。君明而臣良，汉、唐以后，盖亦罕矣。斌不薄王守仁，陇其笃守程、朱，斥守仁甚峻，而伯行继之。要其躬行实践，施於政事，皆能无负其所学，虽趋乡稍有广隘，亦无所轩轾焉。

张伯行著作宏富，有《正谊堂集》十二卷、《道南源委》、《道统录》、《伊洛渊源续录》、《居济一得》、《小学集解》、《续近思录》、《学规类编》、《性理正宗》、《广近思录》、《濂洛关闽书》、《困学录集粹》、《濂洛风雅》（均见四库总目）等，并传于世。