外海镇多姓陈，自元至正十年（1350年），陈氏先祖迁到外海定居，至今已有600多年历史，陈氏家族人丁繁衍，历代人才辈出，外海的别名“龙溪”也是陈姓人为纪念曾避难于福建漳州龙溪深山而命名的。
从前外海的祠堂，星罗棋布，最宏伟的是“外海镇陈氏五大祠”，五大祠位于外海东部的赤泥山下，因而乡下人多称其为“东头祠堂”。
陈氏五大祠是外海陈氏宗亲的祖祠，始建于清朝咸丰年间，五间祠堂紧密相连，横列成排，气势不凡。始祖朝列大夫莘隐陈公祠坐落在赤泥山下，泉石祖祠和筠轩祖祠在其右侧，桃溪祖祠和定息祖祠在其左侧。
祠堂占地约4100平方米，为三进并列而建，采用单檐布瓦硬山顶，蓝琉璃瓦剪边，抬梁与穿斗相结合梁架结构，保有鲜明的清代建筑艺术风格，建筑规模宏大，形态壮丽，布局严谨，结构精密考究，以莘隐陈公祠为中轴线，左右对称布局。祠堂内外石牌坊林立，巨型大柱上挂着长联，记录先祖功德。祠堂雕梁画栋，装饰华美，无不体现出清代建筑的精美繁复和艺术风格。
文革期间，五大祠曾遭破坏，但令人高兴的是，它的整体建筑风格得以较好保留。2000年，市政府将其列为市级文物保护单位；2002年4月，区政府将五大祠交由外海镇政府管理、使用。为保护文物、并将五大祠建成一个文化阵地、旅游景点，外海镇委、镇政府多次进行修葺，使其逐步恢复原貌。新修的五大祠门前广场如今已成为外海人休闲玩乐的好去处。