该建筑位于英山县南河镇灵芝村湾南420米处。段氏宅为清代多重结构院落式庄园建筑,砖木结构。面阔九间,宽47.25米,进深36.27米,占地面积1.4万平方米;三路两进院落,中轴对称布局,每条进路各有门厅、前堂、后堂及左右厢房组成;整体建筑为单檐硬山顶,变形式抬梁式木构架,廊檐作卷棚式顶,望板多呈菱角轩式;天井共17个;所有立柱有汉白玉柱础;两侧院落为纵向建筑,其两端各有封火山墙,整体建筑盖小青瓦顶;建筑四周檐下有砖砌凸饰檐下彩饰山水、花草、人物、故事图案。据英山县县志记载,段氏宅为清代建筑,是清代候补知县段昭灼的府第及庄园。
1986年1月12日,段氏宅被英山县人民政府公布为第一批县级文物保护单位。
1992年12月16日,段氏宅被湖北省人民政府公布为第三批省级文物保护单位。