渔浦书院位于慈利阳和乡渔浦村，北倚太华山，南临茹溪，占地8000平方米。清光绪十一年（1885），慈利一代名儒田金楠首倡，议建书院，乡绅李德灼、王堂信等附而议之，并竞相解囊、慷慨捐资，八都九都（今宜冲桥、甘堰、阳和、许家坊、溪口诸乡镇）士人群起而效之。至半，因所募资金告磬，役用不敷，几临半途之废。时有乡富李长青，置酒集客，待酒至半酣之际，起而谓宾客曰：“天道恶盈我里，高赀率不逾三传破败，相踵吾辈，凭藉前荫，损智益过，群谤所的。即何苦更私货力诒子孙以不令？且乡校之兴，适届今日，前之富者，已不及待，兹不可以省乎！”遂慨然出资百万钱。李长青旧有啬名，人皆闻之并耻之，今日慷慨如斯，人尽愕其所为，由是，尽奋勇而前，争输缗钱。光绪十三年（1887）春，书院始成。
书院建筑主体为木结构，伴有风火隔墙，分正殿、东西二斋、藏书楼、彰义祠和教学楼5大部分。另有八角亭、校门亭及生活用房等。院内配有内外柏树同和鱼池。正殿有两进，中间用过道连接。过道深17米，宽12米，高6米，左右各有天台、花坛，东西两斋则建在正殿两侧，并向前延伸十四排扉；两斋前各设一墙壁，中间空出一操坪。坪的两侧至今尚存古柏10株，苍劲挺拔，生机盎然。校门前面设左右两舍，门两旁均有风火隔墙。头门墙上，有“忠孝廉洁”4个大字，据传亦是仿照岳麓书院门前的大字做的。大门横额有“兰芷芬芳”4字，楹联为“渔猎群经，导扬百氏；浦云十色，溪月九霄”（此嵌字门联系新化学者曾莆卿所作）。两边侧门额上写有“入德之门”。二殿匾额为“茹溪撷秀”（系光绪三十四年督楚使者陆宝所撰书），门联是：“他年新人物，从此诞生；今日小学堂，愿诸努力。”大门前有石级20阶，下了石级，即是约1000平方米的长方形操坪，以垣墙围住。彰义祠在东斋之东，系一四周围住的楼台式建筑，其匾额是“州壤雄风”。藏书楼位于正殿右后高俞处，为两层楼房。
2019年，慈利渔浦书院入选湖南省第十批省级文物保护单位名单。
渔浦书院与娄江书院（位于江垭九溪，今慈利二中前身）、娄东书院（位于杉木桥，今慈利六中前身）、两溪书院（位于零溪两岔溪，今废）共称慈邑四大书院。乡绅李德灼亲赴石门，延请名儒阎德珩（石门蒙泉人，著有《六典通考》、《北岳山房文集》等书）为山长兼主讲，李绍华掌管校务，讲师有何伯次、何尧次、向廷佐等。名师望重，九澧各县青年，闻风就读者，为数甚众。后田金楠亦曾主讲于此，他们阐扬新学，开一时之风。光绪三十三年（1907），改称渔浦高等小学校（并附设渔浦国民学校），为官办新式学堂。
大革命时期，革命知识分子来渔浦发动民众，组织农民协会，打倒土豪劣绅，革命风云高涨。1938年，王育寅任校长，但他并未到职，由于伯圭处理校务。稍后，张沈川（地下党员）任县教育局代理局长。他曾派党的地下工作人员孙警世和另外七位思想进步的教员来渔浦小学任教。他们带来一些进步书刊，以学校为基地，动员群众奋起抗日，并进行党的地下活动，学校面貌为之一新。抗战胜利后，孙警世才离去。到解放战争时期，渔浦小学仍是党从事地下活动的阵地，对革命事业作出了可贵的贡献。其后，渔浦小学改成渔浦中心国民小学。
渔浦书院藏书楼原藏书近10万册，有《廿二史》、《万有文库》等珍本。每年夏出晒，两个人要晒一个暑假。抗战胜利后，驻浦渔书院的国民党某部某营一桃源籍营长抄走了大批书籍（传闻运走 三船）。以后历经社会变革，书籍散失殆尽，藏书楼仅存一古老的菊花石砚池。书院建筑物如藏书楼、彰义祠和教学楼等在“文革”中破坏十分严重，所幸到了20世纪80年代得到了政府的保护修缮。