1960年初，他参与红旗渠工程设计。为了尽快绘制出红旗渠施工蓝图，确保工程顺利动工，他和其他工程技术人员一起，不畏艰险，爬山越岭，实地勘测，翻阅大量资料，精心设计，每天工作到深夜。在短短的时间内，拿出第一本蓝图——《林县引漳入林灌溉工程初步设计书》。红旗渠要通过山崖河涧，地形地貌十分复杂，他和同事们在工作中解决了许多难题，设计出一些切合实际的建筑物。如青年洞一段，原拟绕山挖明渠，工程量大，施工难度大，经过反复考虑比较，吴祖太改进设计方案，采用凿隧洞，让渠道通过天险绝壁。在总干渠跨越浊河的地方，他昼夜思考，拜访附近山村老人。掌握河道地质基础和水文资料后，和其他工程技术人员研究，科学地设计出“空心坝”，让渠水从坝心通过，河水从坝顶溢流，解决渠水与河水交叉的矛盾。

1960年2月，红旗渠工程动工后，吴祖太担任工程股副股长，负责工程设计，既要依据勘测实况，绘制每项工程设计图纸，还要考虑每个工段施工的安

渠首拦河大坝挖了l米深，被水淹没，吴祖太赶到工地，寻求解决办法，又制定新的方案，解决了施工困难。同年3月，他发现王家庄隧洞有几处裂缝，当即和民工研究防险办法。为保证施工安全，他把原设计的“单孔洞”改为“双孔洞”，这样既能缩小洞顶跨度，又能确保隧洞更加坚固。1960年3月28日下午，他听说王家庄隧洞洞顶裂缝掉土严重，出于对人民群众安危的高度负责，与姚村公社卫生院院长李茂德深入洞内察看险情，不幸洞顶坍塌，夺去他年轻的生命，终年27岁。

吴祖太牺牲噩耗传到县委会，杨贵非常痛心地流出了眼泪，心情久久没有平静。立即成立治丧委员会，召开追悼大会，悼念这位为红旗渠建设作出巨大贡献的水利工程技术人员。根据吴祖太生前在林县水利建设上所作出的贡献，县委追认他为中国共产党正式党员。