同治九年（1870年）农历四月初八，刘显世生于贵州省兴义县下午屯。刘显世4岁人私塾，18岁考取秀才，旋补廪生。青年时代的刘显世，不似其父性暴烈，有胆略，外貌柔和，性孝友浑穆，能纳人建议，从中取巧。因而有“内实阴险”、“笑面虎”的骂名。

刘氏为其血腥镇压革命，巧取豪夺，涂脂抹粉。在下五屯和跋浪亭后院各修了忠烈祠一座，在下五屯的祠堂上题了一付对联：“结团体成军，乱从此定；为同胞流血，死而犹荣。”刘显世遵循如此庭训，虽然光绪十五年（1885年）十五岁的时候进入当地的传统学校，却热衷于团练和功名。当时广西游勇窜贵州，刘显世放弃举业，代其父招募旧部进行编练，置身军旅，开始其军阀生涯。

光绪二十三年（1897年）刘显世二十七岁，代理其父刘官礼办理团练。光绪二十七年（1901年）游勇兹扰罗斛、贞丰等县，刘显世奉命率团应援官军。在安龙、册亨边境遭游勇埋伏，官军大败，安龙失守。刘显世败逃兴义，所率团兵死伤百多人。

刘显世家族在与游勇战斗中丑态百出。刘显世听说游勇兵渡盘江，骑马到箐口探听消息，才行至横山，听报信的说箐口失守情况，吓得从马上滚下来，四肢瘫软，不敢再走大路，怕碰上游勇兵，被人扶着从小路回家；游勇袭击兴义前半个月，刘家每天用三、四十匹驮马进城驮东西到下五屯，城里团防局的枪弹、台炮全部运到刘家；刘家在与游勇战斗中，打了败仗，刘既升官、又发财，成为笑话流传在兴义民间。

刘显世的祖父刘燕山（刘明扬，字燕山）有四个儿子：长子刘官箴，字铭之，又号洪魁；次子刘官霖，字时之；三子刘官礼，字统之；四子刘官德，字茂之。

刘显世的父亲刘官礼，行三。刘家兄弟四人，个个体格魁梧，膘悍有力，喜欢习武，性情粗暴；四人都是敢说敢干，说打就动手的火炮人物。兄弟四人且喜欢读书，初涉封建典礼。他们承继父业后，练勇办团，联合乡绅，勾结官府，镇压革命，屠杀人民，称霸一方，建立了盘江刘家小王朝。

黔西南州《盘江史料辑》说：弟兄均魁梧奇伟，胆力过人，附近无不敬畏。

刘燕山得诸子之力，家业日兴，渐为下五屯首户。其提倡号召，可以左右人心。刘氏兄弟，在自给自足的封建社会里，特别是在资本主义发展迟缓的贵州兴义县，商业资本得不到进一步发展。于是遵循封建社会的以末致富，以本守之的生财之道；放弃榨油，经营土地，善夺巧取，大肆兼并，逐渐成为下五屯的大户，富甲乡里。

刘显世故居位于位于贵州兴义城南的下五屯街道办事处，是中国占地面积最大的“屯堡”式地主、军阀建筑群。由中西合璧的大小13座四合院组成，南北长360米、东西宽130米，占地70亩，为刘显世本人和其兄游击队军司令、滇黔边务督办刘显潜的故居。

刘氏庄园始建于清嘉庆年间，咸、同时期初具规模。随着刘氏家族的不断壮大发迹，建筑也不断扩大。到民国期间，又大兴土木，使之成为全省最大的私家庄园。现存忠义祠、花厅、书斋、刘显潜居室、家庙、校场坝，部分城垣、炮楼及法式建筑各一栋。

刘氏庄园宏伟壮观，至今主体建筑基本保持原貌。

1983年6月，兴义县人民政府将刘氏庄园公布为县级文物保护单位。

1985年11月，贵州省人民政府公布为省级文物保护单位。

1988年国家拨款35万元维修刘氏宗祠，1989年10月在庄园内建成“贵州民族婚俗博物馆”，是全国唯一的少数民族婚俗博物馆。

1990年3月，国家文物局有关领导和专家专程赴兴义视察刘