1888年生于南京。少承家学。

1909年毕业於两江优级师范学堂，该校曾先後更名为南京高等师范学校、国立东南大学、国立中央大学、南京大学；曾师从李瑞清、陈三立、曾农髯、郑大鹤、王静安、沈曾植等人。1910年，与同学杨仲子之妹杨秀英结为伉俪。

一生长期执教，曾在明智大学、武昌高等师范学校、西北大学、四川国立女子师范学院等校任教，历任北京女子高等师范学校教授兼国文部主任，云南大学教授兼文学院院长，金陵大学教授兼国文系主任，国立东南大学中文系教授、国立中央大学中文系教授兼系主任与文学院院长、南京大学中文系教授兼系主任与文学院院长，南京大学图书馆馆长。

胡小石1906年9月考取两江师范学堂预科，翌年2月插班入农学博物分类科。一次，学堂监督李瑞清（号梅庵，又号“清道人”）亲自出题测试，题目撷自《仪礼》。胡小石父亲胡季石出于清末著名学者刘熙载门下，家学甚厚，胡小石五岁即读《尔雅》，对张惠言的《仪礼图》也研学多遍，因此胸有成竹，一挥而就。梅庵先生发现学农博的学生中居然有一弱冠少年能作有关《仪式》的文章，大喜过望，青睐有加，并亲自在课余授其传统国学。

梅庵先生精于碑学，是清末享有盛名的大书家，胡小石得其指点，始学北碑《郑文公碑》和《张黑女墓志》，於《郑》取其坚实严密，於《张》取其空灵秀美，从此笔力沉着，书艺大进。

1917年，胡小石经梅庵先生介绍，到上海任明智大学国文教员。翌年1月，应邀到梅庵先生家当塾师，一方面教其弟侄经学、小学及诗文，一方面又师从梅庵先生及与梅庵过从甚密的晚清老宿沈曾植、郑大鹤（郑文焯）、王静安、曾农髯（曾熙）等，学帖学、金石文字学

胡小石早年在两江师范求学时，即以诗文名噪一时。较他低几级的陈中凡进校后，曾听不轻于许人的周实丹屡屡称道胡小石的才华。一次，陈中凡与周实丹同登清凉山，在扫叶楼品茶，看到墙上有署名“光炜”的诗句云：“清丝流管浑抛却，来听山中扫叶声”，不由击节赞叹，周实丹乃告之说：“光炜就是小石的本名。”1920年，陈中凡到杭州途经上海，拜访师友，在李瑞清寓所与胡小石相识。初次把晤，相见恨晚，胡小石出示所作诗歌，陈中凡对其《与友人江头小饮》一首尤为欣赏，诗云：“十年骑马上京华，银烛歌楼人似花；今日江头黄篾舫，满天风雨听琵琶。”吟诵再三，陈中凡不由“叹其轶材秀出，非侪辈所能几及”。

胡小石曾经其师李瑞清先生介绍，与胡翔冬一起师拜陈散原（陈三立）先生门下，从受诗学。散原先生是陈宝箴之子、陈寅恪之父，清末诗坛“同光体”领袖之一。他因材施教，命胡翔冬专习中晚唐五律，胡小石专习唐人七绝，而后再就性之所近，兼习各体。胡小石谨遵

1924年胡小石离开武昌高师，回宁任金陵大学国文系教授兼系主任，曾自筑小楼于将军巷31号，取名“愿夏庐”。1937年遭日军空袭而被炸毁。1946年由蜀东还后，先后住中央大学校舍和天竺路小楼。无论是在“愿夏庐”，还是在天竺路，胡小石家常常是高朋满座。他的一些高足，如曾昭遹、关白稥、游寿、徐复、金启华、孙望等，也常上门请教。胡小石与弟子们谈笑风生，乐此不倦。每到就餐时分，弟子起而告辞，他总是热情留客吃饭。他的长女胡令晖还记得解放前有一年，保姆见胡小石又留客吃饭时，面有难色地说：“先生，家中没柴烧饭了。”当时市面上柴草紧张，购买脱档。胡小石却慨然应答：“无柴烧不要紧，把我书房里的报纸拿去烧就行了。”

胡小石钟爱弟子，授课之余，常邀学生数人，或是去城南城北几个老字号菜馆品尝佳肴，或是去清凉山扫叶楼饮茶品茗，或是到夫子庙秦淮河畔小摊上吃“油氽豆腐干”。作为一个“美食家”，胡小石推重“饮食文化”，更陶醉于