凤凰文庙始建于清康熙四十九年(1710年)，最初是作为学校（当时叫学宫）修建的。乾隆《凤凰厅志》记载：“五寨司（元代凤凰称五寨司）向设土官，本无学校…康熙四十九年，偏沅巡抚赵申乔、分巡道孙调鼎捐建学宫学署…乾隆八年（1743年）令将各学宫从祀诸贤、诸儒神牌位次遵照太学成式书写字样，东西先后序次安设。至乾隆十八年，礼部核改，复奏定通行”。道光《凤凰厅志》记载：“学校王政之本也，立文庙以祀先圣先师，又学校之本也”。孔子被尊为先圣先师，所以祭祀他的地方称庙而不称祠。雍正十三年（1735年），凤凰厅通判何潜捐百金重修；此后，在乾隆十九年（1754年）、二十二年、五十年、嘉庆五年（1800年）多次进行扩修。道光十六年冬至十九年八月（1836—1839年），凤凰厅同知姚华左、总兵杨芳等地方官绅又筹集捐款对文庙进行大规模改扩建，最终形成了一个规模宏大、工艺精美的建筑群，总占地面积（包括一个科举考场在内）1万4千多平方米，相当于22亩地。
主体建筑大成殿占地面积381平方米，砖木结构，整体呈长方形，三面砖墙，前面安装一排镂空雕花门。大成殿共三间，通宽14.4米，进深12.7米，通高16.5米；殿内有硕大的中柱4根，每根直径约52厘米，高15米。大成殿为穿斗式抬梁构架，重檐歇山顶，飞檐翘角，造型优美。我们中国的古建筑以屋顶造型最为突出，它是整座建筑物最为醒目的地方，也是等级观念最强之处。大成殿九条屋脊都用的是琉璃瓦，脊上有两个蹲兽，这是很高的等级。古代律法森严，屋脊上的琉璃瓦多数为皇家使用，民间只能用黑活瓦（砖雕瓦）。而且不同等级的建筑物所安放的脊兽数量和形式都有严格限制，比如在皇宫偏殿的屋脊上只安放1—3个脊兽，由此可见文庙等级之高。殿内正中梁柱上悬挂着清朝历代皇帝为文庙御书的金字匾额，有：
康熙御书“万世师表”，雍正御书“生民未有”，乾隆御书“与天地参”，
嘉庆御书“圣集大成”，道光御书“圣协时中”，咸丰御书“德齐帱载”，
同治御书“圣神天纵”。
大成殿前面是长8米，宽16米，高1.5米的露台，台前与地面之间不是台阶，而是安放一块龙纹青石浮雕，称为“龙石”。露台左右两侧各有7级台阶，露台下靣的空坪称为行礼“丹墀”（规定用红色，所以用红石块铺设地面），长约九丈五尺（31.35米），宽约九丈一尺（30.03米）。原本丹墀两边建有东西两庑（厢房）各三间，两庑下首建钟鼓楼各一座，钟鼓楼之间建有大成门三间，门内是一座戏台，门外左右建有名宦祠、乡贤祠、孝义祠等。再往外有一个泮池（古代学宫前的水池），栽有荷花，一座石拱桥（泮桥）横跨泮池，泮池周围及桥上均设石栏杆，泮池两边各有一株桂花树。泮池外边建有一座牌坊似的棂星门，四柱三门，柱顶各雕一只蹲狮；中门额匾横书“棂星门”三字，左右门额上浮雕日、月二字，寓意儒学与日月同辉。
正殿后面另建崇圣祠一座，三间平房，用以祭祀孔子父母，供奉孔子父母的牌位，正殿南侧建明伦堂一座。
文庙围墙两头街口各建青砖牌坊一座，左街口牌坊额书“圣城”二字，内署“德配天地”四字；右街口牌坊额书“贤关”二字，内署“道冠古今”四字。
文庙正殿内正中一间供奉孔子牌位，左右两间分别供奉“四子”——复圣颜子、述圣子思子、宗圣曾子、亚圣孟子牌位；东西两壁供奉子贡、子路、朱熹等“十二哲”牌位。正殿下面的东西两庑供奉周敦颐、程颢、公羊高、董仲舒、诸葛亮、范仲淹、 阳修、左邱明、韩愈、司马光、周敦颐等123位先贤、先儒牌位。
文庙内还有一方御制卧碑，碑文是顺治九年颁发的八条规定：
1、生员之家，父母贤智，子当受教；父母愚鲁，或有非为者，子既读书明理，当再三恳告，使父母不陷于危亡。
2、生员立志当学为忠臣、清官，书记所载忠清事迹，务须互相讲究，凡利国爱民之事，更宜留心。
3、生员居心忠厚正直，读书方有实用，出仕必作良吏；若心术邪刻，读书必无成就，为官必取祸患，行害人之事者，往往自杀其身，常当思省。
4、生员不可千求官长，交结势要，希图进身；若果心善德全，上天知之，必加以福。
5、生员当爱身忍性，凡有司官衙门，不可轻入，即有切己之事，只许空人代告，不许干与仇人词讼，他人亦不许牵连生员作证。
6、为学当尊敬，先生若讲说，皆须诚心听受。如有未明，从容再问，毋妄行辩难；为师者亦当书心教训，毋致怠惰。
7、军民一切利病，不许生员上 书陈言，如有一言建白以达制论，黜革治罪。
8、生员不许纠党多人，立盟结社，把持官府，武断乡曲。所作文字，不许妄行刊刻，违制者听提调官治罪。
自清代至抗日战争时期，每年春秋两季，县城的官商绅民，都在文庙举行祭礼，极其隆重。
文庙建筑群在民国期间还保存完整。20年代这里办过女子学校，30年代办过幼稚园。民国33年（1944年），在此设县立初级中学，对建筑物有所毁坏。建国后继续在此设立中学，将东西两庑、各祠、钟鼓楼等拆毁，在遗址上修建教学搂。又拆除了戏台、大成门、棂星门、泮桥，填平泮池，改为操坪。又改考棚为学生宿舍。
文庙建筑群至今仅存大成殿及两株百年桂花树。2002年由湖南省人民政府公布为省级文物保护单位。
凤凰有文字记载的历史有二千多年，但在唐代以前的一千余年中，一直是“蛮荒”、“化外”之地。自唐高祖武德初年（公元618年）至清康熙四十年（公元1701年），土司政权在凤凰延续了1083年，两千多年里，凤凰没有公立学校。而凤凰文庙作为第一所公立学校，无疑具有划时代的意义，从此以后，中华民族的传统文明得以从这里传承、延流，一代一代地抚育着这里的苗、汉、土各族人民，使凤凰在中国近现代史上，在政界、军界、知识界产生了一大批叱咤风云的人物，为子孙后代留下了宝贵的物质财富和精神财富。