胡公岩位于余姚胜归山南坡。明嘉靖二十七年，胡宗宪任余姚知县，有效地禁住了胜归山开凿山石之风。十年后，胡宗宪调任浙江总督，为抗倭多次来到余姚，屯兵胜归山下，后人为纪念胡宗宪，特于嘉靖四十年在胜归山南坡雕凿胡宗宪官服像，故称之为“胡公岩”。胜归山之所以成为游玩胜地，不仅是有几个石孔而已，主要的还在于有着明代、清代至民国先后雕凿的岩崖雕像。胜归山旧有刘将军庙，祀东晋将军刘牢之。到明嘉靖间，在庙前增建复初书院，雕凿胡宗宪秉公断案之像。后因岁久，庙与书院渐圮。至明万历年间，有一僧人看中旧址，改建为禅院，依山岩雕凿佛像，历二十年竣工，称之为胜归山庙。增凿的佛像有袒胸露肚、捧腹大笑的弥陀佛，手执破芭蕉扇的疯癫和尚济公像，上面还有观音大士像，曲腿盘坐莲花宝座上，座下是浪涛翻滚的南海，有巨鳌游弋。东侧有赤脚踏宝莲台的释迦牟尼立像，以及横眉竖眼的多尊罗汉立像，各高五米左右。这些佛像，造型生动，神态各异，有较高的艺术水平。
胡公岩摩崖石刻于1981年6月被列入市级文物保护单位，2005年3月16日由浙江省人民政府公布为省级文物保护单位。