宋明时期万姓为现英山县金家铺镇象鼻咀村8组自然村的旺族，清代卫氏一族在此村发展较快，与清光绪年间在村中建设卫氏宗祠。祠堂初建时期占地面积约390平方米、建筑面积500余平方米，为一主二次的三组天井院落的砖木结构建筑群。中央为祠堂，祠堂两侧为附属院落（配院）。现存祠堂一进两重三开间，面阔11米，进深16米，坐北朝南，中轴对称，从南至北前后布置门厅（二层为戏台）、拜厅（类似过廊，两侧为天井）、祀堂。祠堂两侧为附属院落（配院）。

 2008年3月27日，卫氏宗祠被湖北省人民政府公布为第五批省级文物保护单位。