大乌山山巅之上有座古庙，相传建于唐代中宗神龙元年（705年），由于年代久远，历经沧桑，毁建数次。整座庙宇全用花冈条石砌成，规模壮观。正栋为玉皇殿，殿内佛像陈列，有钢铁铸的，有石凿的，有木雕的，还有陶制的，其貌庄严，威武神气。右为观音殿，神台上的观音娘娘坐于莲花之上，双手平摆于膝，相貌慈善。左为罗汉殿，十八罗汉各开笑口，形态不一。
大乌山的命名有有两种说法：一是远望大乌山，乌蒙蒙的一片，所以，人们就叫它“大乌山”。另一种，就是明洪武翰林学士解缙在山上庙里过夜，大风吹灭了蜡烛，庙里黑乌乌的，他开玩笑说：“现在不是名（明）山，而是变成了乌山了。”于是，人们就戏称它为“乌山”。
南宋爱国英雄文天祥游历到此，惊叹于大乌山的雄奇，题写了“永镇江南”四字匾额；明朝进士邹元标也留下了“乌山仙境”四个字的珍贵墨宝；遗憾的是一些代状元吉水人解缙题写的“捷足先登”牌坊在清末坍毁，仅留遗址。