该祠座西北朝东南，为砖木结构四合院，前后三进，两侧为厢房。大门牌楼为四柱三门，有五龙拱圣及山水、花卉、鸟兽等浮雕，镂刻精细，栩栩如生。正门阴刻对联：“拜礼歌诗犹是当年世胄；来雍止肃常怀入厝精诚。”右门联曰：“一派衣冠承典礼；千秋文物笃宗祊。”右门联曰：“一水渊源开镜鑑；诸峰罗列有儿孙。”第一进为戏楼，面阔五间，进深二间。明间筑戏台，台顶为内收八角交错叠涩式，屋顶重檐翘角，六角攒尖，宝瓶收刹。戏台前两柱础为青石雕造石狮，雄雌各一，昂首兀立。第二进为中堂，面阔五间，进深三间，前出走廊单檐硬山顶。第三进为神主堂，面阔五间，进深四间。祠内柱础，皆雕造各类走兽，形态各异，维妙维肖，具有较高的艺术欣赏价值。
湖公祠的石雕刻及泥塑堆画，堪称集我国明清时代江南石刻、泥塑艺术之大成，给人们以艺术的熏陶和美的享受。该祠于1990年被公布为邵阳市市级文物保护单位。
