100多年前，浏阳文家市一些知名人士忧于当地文运稍逊而谋建了一所学宫（儒学设在孔庙的叫学宫，为秀才读书之所），名为“文昌宫”。道光十九年（1839）春，时任浏阳知县的胡芝房来到了文家市，在察看了集镇中街的文昌宫后，提议将它改为书院兴办义学，他的倡议得到了当地乡绅的积极响应。不久，当地人士便集资数千缗，良田数顷，在当地名儒刘大馥等的主持下开始兴建书院。书院兴建后，仍有人不断捐资助学，前后捐募的资产，除用于营建书院外，尚有山、田、铺屋出租，岁收租额700余担，以作师生薪俸膏火之用，极大方便了文家市及整个浏阳南区弟子入学，并取“文章华国”之义，为书院名。咸丰元年（1851）、同治三年（1864）、同治八年（1869）均有修建。
1909年清末新政期间，文华书院改名为“里仁学校”，改变书院时期纯粹读经史的教学方式，增设了算术、地理、历史等学科。到1912年，按国民政府教育部部颁学制，里仁学校设为高等小学。5岁入胡氏私塾、9岁上高小的-，是1925年离开苍坊村来里仁学校念书的。“里仁”取自《论语》：“子曰：里仁为美；择不处仁，焉得知？”（跟有仁德的人相处是美好的。否则，岂能习得智慧？）它的历届校长要么是具有维新思想的宿儒，如陈蕃庶、陈运精、刘信庚等；要么是同情、倾向革命的进步人士，如甘恩锡、罗章龙、陈世乔、甘恩藻等。它聘请的教师都是有德有望、知识渊博的知识分子，很注重对学生进行维新、民主、爱国的思想教育。
文华书院之所以成为1961年国务院首批公布的“全国重点文物保护单位”之一，却并非因为它是中国罕见的书院，而是因为它乃革命文物——“秋收起义文家市会师旧址”。1927年9月19日，毛泽东率领秋收暴-动主攻部队的余部会师于此，由毛泽东任书记的中共湖南省委前敌委员会和起义军的师部驻扎在这里。旧址“保存”了当年毛泽东和前敌总指挥卢德铭、师长余洒度等人的起居室、战士宿舍和厨房、食堂等“遗迹”。于是这座前清书院——供奉孔孟牌位的文庙兼学宫，安然度过了“文革”浩劫，完整地保存下来了。
如今书院占地面积1.2万平方米，基本保持了当初的格局。坐南朝北，砖木结构，中轴线上自北而南依次为照壁、大门、讲堂、大成殿、成德堂，两侧有关帝殿、文昌阁及斋舍等。整体建筑除魁星楼已毁，其余均保存完好。
照壁高4.65米，长10.41米，素面，壁顶有挑檐石。照壁两端各有一过街亭，为单檐歇山顶，小青瓦屋面，飞檐上翘，檐下置卷棚，整个顶棚由四根立柱支撑，立柱之间均设挂落。
大门为牌楼状，建筑面积107平方米，后出廊，且为4根方形木檐柱支撑。大门门楣上 书有“里仁学校”匾额，门两侧的对联为：“以文会友，为国储才。”
讲堂面阔3间，进深1间，前后出廊。通面阔21米，通进深6.3米，建筑面积200平方米，前后檐各立两根石质方柱，柱径30厘米，柱高7.4米，厅内无金柱。讲堂为二层硬山顶，每间山墙出马头墙，探头带泥塑彩绘。正立面檐柱间用木挂落和带雕琢的穿插仿装饰。屋架为九架梁外带双步梁，屋面覆盖小青瓦。
大成殿面阔3间，进深3间，四周带回廊，通面阔14.44米，通进深14.51米，大殿高14米。大殿坐落在1.26米的砖砌台基上，建筑面积209平方米，全殿由20根石方柱和4根金柱支撑，金柱柱径0.24米，屋架为九架梁，前后各加一缝三步梁，殿内有覆钵形藻井，屋顶为小青瓦。
成德堂面阔5间，通面阔19.42米，进深1间，带前廊，通进深9.66米，面积187.6平方米，为 檐硬山顶，小青瓦屋面，两山出马头墙，脊高10.1米，探头有泥塑彩画。檐柱4根，均为石方柱，廊柱4根，均为木方柱，柱径0.26米。室内设3道隔墙，模子直接架在墙上，无木梁架。
文华书院或因文昌宫改建所致，或因官学化的影响，其建筑布局反映出浓厚的供祀特点，主要表现在大成殿处于院落中心的高台之上，成为书院的主体，此为其他书院所少见。另外，大门前以两座字式侧门夹峙照壁形成的前导空间，别具一格，较其他书院的入口处理更显活泼。最为特别的是，在这个教育讲学之地，又有武帝庙以祭祀关圣帝（即关羽）。庙前《文华书院迁建武帝庙碑记》或许可以告诉我们原因：“盖我朝圣圣相承，谟烈烦如日星，文庙武庙并隆，招典且鲁颂有云，在泮献功，有文事者必有武备，正未可以偏废也。”武帝庙建于同治四年（1865）。面对鸦片战争的失败，清政府的腐败无能，西方帝国主义列强的侵略野心，文华书院的主持者认识到武备的重要性，希望通过建武帝庙，“自今以往，在院肄业者春夏干戈，秋冬羽口，瞻仰渐摩，将见-纬武，为国家有用材，皆于此基也”（《碑记》）。教育的目的是培养“-纬武”的有用之材，不管实际的效果如何，都可以看作是对传统书院教育进行改革的一种有益尝试。