五岳殿是江南唯一同时供奉五岳圣帝的寺庙。是唐朝著名的石头和尚的弟子“丹霞禅师”天然和尚所建，故名丹霞寺，始建于唐代贞元年间（785-804年）。清末，寺僧玉洁塑了五岳圣帝神像于前殿，以便吸引更多的朝圣者，从此丹霞寺改名为五岳殿。
五岳殿于民国24年（1935年）由该寺住持醒悟重建，有山门、正殿、后殿三进，石墙铁瓦，古朴庄重。山门建于登山路旁，花岗石的门额上刻着“五岳殿”三个大字，殿门下还留着“丹霞寺”。山门内石柱上刻着一副楹联：经过都是有缘客；归去何须看别山。此联是湘潭人黄笃杰题于1922年。五岳殿石柱上刻有一副对联：五圣归来湘水北；岳神高驻楚天南。联作者不详，联意是：五岳殿供奉的是东、南、西、北、中五岳之神，五方又以五行相配，故又以木、火、金、水、土五圣相称；五岳殿其位置在衡山一段位于湘水以北，岳神即南岳圣帝高居古楚国以南的衡山祝融峰上。殿内供奉着五岳圣帝神像，即东岳齐天仁圣帝、南岳司天昭圣帝、西岳金天顺圣帝、北岳安天玄圣帝和中岳中天崇圣帝。后殿门额上刻着“七一遗址”，两边有“或实或榷皆是教；一瞻一礼总归真”两行小字，为醒悟所题。关于“七一遗址”还有一个典故：说的是唐代贞元初年，襄阳有一个叫庞蕴的居士来南岳拜会天然和尚，两人默然相对。庞居士用树枝在地上画了个七字，天然和尚看了后，只在“七”字下写了个“一”字作答。庞居士顿时省悟，知道是叫他“见一忘七”，就同天然和尚结成好友。后人便将此地叫做“七一遗址”，并把这故事刻在正殿的花岗石门额上，留传至今。
关于天然和尚出家之事还有一个神奇的故事：据《稽古录》、《指月录》记载：天然和尚本是郑州一个儒生，熟读孔孟之书。唐德宗贞元年间，他在赴京赶考应试途中的一个旅馆里遇到了一个很健谈的和尚。两人一见面就谈得很火热，谈着谈着，和尚突然探问天然：“你这么风尘仆仆要到哪里去？”天然洋洋得意地说是到长安应试选官。和尚便劝他说：“你选官不如选佛”。他觉得很有道理，于是不去京师应考。在和尚的指点下，他便改道直奔江西去投靠马祖道一。儒生到江西时，道一正在给僧徒们说法。忽然进来一个神态傲慢、举止洒脱的儒生直趋说法台前。道一问他来寺院做什么？他两手托着头发，做了个要求落发的动作。道一端详了他一会儿后说道，南岳的石头希迁才有资格做你的师傅。儒生于是马上跑到南岳南台寺找石头希迁法师收他为徒，要求落发。希迁见他那种傲慢态度，就说暂不落发，以后再看机缘。石头和尚收留他干了三年的杂事。一天，石头和尚吩咐众僧把佛殿前的杂草锄掉，儒生认为机缘已到，是石头暗示他可以落发了，于是便把头发洗得干干净净，跪在堂前请求石头和尚给他剃度。石头和尚见此情况，笑着给他落发说戒，但没给他赐法号，叫他再去拜谒马祖道一。儒生听了之后，便再次去江西找马祖。没想到到了寺院，看守山门的和尚却不准他进去见马祖，他十分气愤，便把和尚打翻在地，并骑在和尚的身上，此事惊动了马祖道一。马祖道一出门一看，原来是三年前要求落发的儒生，马祖便大喝一声：“吾子天然，休得无礼！”他一听，连忙站起来，转身跪在马祖面前说道：“谢谢大师恩赐法号”。于是，他就取名天然和尚了。自此以后，天然和尚开始云游四方。他在天台山华顶峰住了三年，后来去了不少地方，最后他到慧林寺去游览时，正逢天下大雪，天然和尚竞把殿上的木佛搬下烧火取 暖。有人说“造孽了”，他却说：“我就是佛，木头怎能成佛？该烧该烧！”烧了木佛出来，天然独自来到洛阳天津桥头，见郑守备驱车迎面而来，便几步蹿到桥上，横身躺在桥上。郑守备厉声斥问：“是谁为何躺地拦车？”天然答道：“天然闲来无事，逗守备玩耍，守备为何如此盛气凌人？”郑守备早就知道天然和尚名声，还听说谁也惹不起他，于是下车将天然扶起上车，直往守备衙门，并送了他一份厚礼。元和十五年（820年），他把在洛阳弄到的钱带到南阳丹霞山，结庵收徒，广收法徒达三百人，因而被称为丹霞禅师。
他在丹霞山居住了一段时间后，觉得还是南岳好，便在德宗贞元年间，再次来到南岳，在如今这个地方建寺，取名丹霞寺。在丹霞寺住了一段时间后，他发现湘南寺左边有大悲洞、卓尔岩，右边有文殊洞和隐松岩，是自然界的奇绝胜处。于是他又来到了湘南寺，在这里自由自在地度过了几年。最后他来到了环境幽雅的水月寺，在此住了一些年月，于83岁时圆寂于此。水月寺侧，至今墓塔尚在。