潘氏宗祠位于金山镇小铺子村委会东山小组村东南面，坐北向南。祠堂由南而北建有照壁、平台、门楼、天井、厢房、正殿等建筑。照壁下有石基，两旁用方砖支砌为柱，中填筑土，上覆瓦砾；平台宽大，原为石板铺筑，现为水泥地板；门楼、两厢及正殿均面阔3间，处正殿为一层外，其余均为两层，四幢房屋均为抬梁式单檐硬山顶前檐廊木构件建筑，门楼的二层原为戏台。正殿建在1.6米高的平台上，宽11.7米，进深8米，门前走廊施卷棚顶，用瓦覆盖，瓦上 书--有二十八星宿名，门窗为各自门窗，木雕精细；殿内后墙前筑1.1米高的供台，供台上以木雕构件组成神龛，龛分三格，上下两层，正中木雕构件精美；龛后墙壁上镶碑十一块，刻潘氏族谱于碑上，正中一块为《潘氏族谱序》；殿中原有悬匾3块，今无存。正殿前的院心为规整块石铺筑，殿前台阶两旁各有一座下有须弥座、中为正方柱上为攒尖顶的碑幢，两座碑均为功德碑，记载了建祠及以后祠堂供给等内容。经考证该祠建于清乾隆癸酉年（1753年），功德碑一为道光十八年，另一为三十年所刻留，由于该祠有一定的历史、艺术及屯田制度、宗族制度研究等价值，2003年公布为县保单位，2005年公布为州保单位。