清同治四年（1865），邑人原陕西巡抚刘典倡建于宁乡水云山下。三面环山，佳木葱茏，绿野扩展，沩水流迳，步云桥横跨其上。“山水之胜，无殊岳麓”，“斋舍之制，全效城南”。当时有步云桥、总会门、东西五门、讲堂、崇道堂、希贤堂、先贤堂、仰极台、凌云亭、奎光阁、文昌阁、藏书楼、东西八斋等建筑，可容徒160人。辟有鉴泉印月、奎阁凌云、云寺钟声等10景。云山书院是县以下的书院，相当于乡学一类初级教育机构，曾提出“修书院，广育婴”的宗旨，便于乡民子弟就读。“东西八斋，斋舍十间，可容徒百六十人”，比一般乡学规模要大。“经费多来源于乡绅捐助，士绅捐置田产668亩，年收租1300余石。以培养“处为大儒，出为良佐”之才为宗旨。山长为士林楷模，秘择本邑宿学名儒”；对学生要求“贵博学、审问、慎思，明辩以析其理，笃行以践其慎”。书院创办后，受维新变法影响，教学内容开始加入自然科学和社会科学知识课程，一度成为宁乡新文化运动中心。光绪二十八年（1902）改为高等小学堂。有《宁乡云山书院志》传世。
现校内存有刘典写的“倡建云山书院碑”。碑高1.85米，宽0.8米，为青石阴刻。学校正房前楹有谢觉哉题写的“云山完小”4个大字，校周围有王凌波、谢觉哉种植的“黄金树”等树木，山清水绿，风景优美。清朝政府废除科举制度后，云山书院改为高等小学堂，推民主革命前辈文经酉担任堂长。学堂附设半日制学习班，开业余教育之先河。1909年春以后，“宁乡四髯”何叔衡、姜梦周、谢觉哉、王凌波先后在这里任教或担任校长，同时有宁乡农运先辈梅冶成和进步人士喻棣芳、欧阳健、王一凡、许抱凡、林若虚、夏元彬以及20世纪30年代末在宁乡革命斗争中英勇殉难的李甲农等，在云山学校大力提倡科学与民主和劳动教育，积极宣传马克思列宁主义，进行反帝反封建的爱国主义教育。他们不仅使云山学校成为“五四”前后宁乡新文化运动的中心，而且成了宁乡人民的革命摇篮，为我国新民主主义的革命运动培养了大批人才，如甘泗淇、萧述凡、谢南岭、尹澍涛、喻东声、胡辉、余喜文、林萼生、严岳乔等俊杰，在中国人民的革命斗争中作出了巨大的贡献。
1917年7月，毛泽东来宁乡作农村调查时。曾在云山住过；1921年，何叔衡参加“一大”回湘后，偕谢觉哉来宁乡，在云山进行革命讲演；同年冬，王凌波在这里办全县教师讲习所，传播革命道理。新中国成立后，云山书院被列为省级文物保护单位。