潘祖荫生长于北京，祖籍吴县。他的祖父为乾隆癸丑科状元潘世恩，官至太傅、武英殿大学士。他的父亲潘曾绶，字绂庭，官至内阁侍读。他的叔祖是乾隆乙卯科探花潘世璜。

道光二十八年（1848年），恰值潘世恩80大寿，道光皇帝恩赏潘祖荫为举人。咸丰二年（1852年），考中一甲第三名（探花），授翰林院编修。咸丰四年（1854年），历任国史馆协修、候补侍读、实录馆纂修。咸丰六年（1856年），历任功臣馆纂修、会试同考官、侍读、咸安宫总裁、南书房行走、文渊阁校理，因捐备军饷赏戴花翎。咸丰七年（1857年），历任日讲起居注官、侍讲学士。咸丰八年（1858年），英法联军入侵天津，上书请战，历任陕甘乡试正考官、国子监祭酒、侍读学士。

咸丰九年（1859年），升任大理寺少卿。咸丰十年（1860），时任骆秉章幕僚的左宗棠被弹劾，他上疏密保左宗棠，说他人才出众，此案才平息下来。左宗棠被释疑保举曾国藩襄理军务。又呈上四川军务宜筹

潘祖荫藏书十分丰富。曾撰《滂喜斋读书记》。曾用三百金购得北宋本《公羊春秋何氏注》一册，潘祖荫对人说“此世罕见本，我买得便宜。”在他死后，北京琉璃厂书店检点成《滂喜斋宁元本书目》一卷。收藏极富，所藏图书、金石甲于吴下。光绪九年（1883），延请学者叶昌炽协助他编校所藏书籍。“滂喜斋”中金石、图籍充栋。叶昌炽因而尽窥他家藏秘籍。他每读一书，则录成题解，成《滂喜斋读书记》2卷，另有《滂喜斋藏书记》，著录141种宋元刻本、明初本、日本、朝鲜刻本。《滂喜斋宋元本书目》著录其收藏的宋元本127种。学者王季烈亦作有《滂喜斋藏书记》，记其“在朝数十年，持躬清介，屏绝馈遗，所藏商周珍器宋元精椠，皆尽廉俸购之四方”。其购藏的宋元秘籍达近百种，和张之洞、刘喜海、李慈铭等知名学者有深交。因收有宋本《金石录》10卷本，相继被冯文昌、江立、鲍廷博、阮元、赵魏、汪諴、韩泰华、甘福等著名藏家递藏，且各藏书家均刻有“金石录十

潘祖荫研索钟鼎、篆、隶书法文字，往来籀分。一次，闻听有碑石，他欣然前往一览，在篆床后壁间，秉烛细观，连垢面也顾不上，花五百金购回。潘祖荫尤其注意吉金，他所藏钟鼎彝器之类多达五百余件，成为当时收藏吉金的第一家。鲍子幸曾经与潘祖荫论好古象币者之弊有三：矫、痴、诬，潘祖荫为之失笑。被人称作金石学家。当时朝廷内众太监凡得古玩，必请潘祖荫鉴别。孝钦皇后曾说“潘祖荫所鉴定者固无甚大谬也。”潘祖荫还是一个著名的藏书、金石收藏家。“滂喜斋”、“功顺堂”是他的藏书室，他将藏书编成《滂喜斋藏书记》、《滂喜斋书目》。他的门生叶昌炽为他的藏书著有价值极高的目录指南“藏书纪事诗”。攀古楼是他存放青铜器和石碑的储藏处，他还留下两部金石目录：《汉沙南侯获刻石》、《攀古楼彝器款识》。

潘祖荫喜好藏印，有官印、印凡三百零四板。他的金石收藏甲于吴中，闻名南北。此外，潘祖荫通晓经史。生平著述不多，他刊印了他的一些游记和诗作。著有：

潘祖荫，字伯寅，江苏吴县人，大学士世恩孙。咸丰二年一甲三名进士，授编修。迁侍读，入直南书房，充日讲起居注官。累迁侍读学士，除大理寺少卿。左宗棠被劾，召对簿，罪不测，祖荫上疏营救，且密荐其能，狱解，乃起独领一军。十一年，诏求直言，祖荫念车驾还都，首斥奸佞，纲纪一新，为上勤圣学、求人才、整军务、裕仓储四事。并请免赋以苏民困，汰釐以纾民力，严军律以拯民生，广中额以收民心。纚纚数千言，称旨。迁光禄寺卿。与修治平宝鉴，书成，被赏赉。先后纠弹官吏不职状，书凡数上，文若钦差胜保、直隶总督文煜、陕西巡抚英棨、布政使毛震寿、甘肃布政使恩麟、道员田在田诸人；武若提督孔广顺、总兵阎丕叙、副将张维义诸人。繇是直声震朝端。

同治三年，授左副都御史。坐会议何桂清罪未列衔，絓吏议。明年，恭亲王奕䜣获谴，下群臣议。祖荫念重臣进退，关系安危，疏请持平用中，酌予转圜，袪世人惑。补工部侍郎。七年，调户部，充经筵讲官。坐失部印，褫职

辑有《滂喜斋丛书》、《功顺堂丛书》。著述有《芬陀利室词》、《西陵日记》、《秦輶日记》、《沈阳纪程》、《郑庵诗文存》、《攀古楼彝器款识》等。