文昌阁位于余姚城区龙泉山南山腰。初建于明万历年间。现存建筑系清同治元年（1862）倾圮后于光绪十九年（1893）由乡人集资重建，至今完整。
文昌阁坐北朝南，重檐，东西两侧筑马头山墙，总占地面积达300平方米，总建筑面积250平方米。分三开间，通面阔8，45米，通进深9米。明间梁架为抬梁式，次间为穿斗式，用五柱，八檩。殿前有船棚顶轩廊，廊枋雕刻精细传神，重檐飞椽，用材较大。地面石板错缝铺砌，屋面小青瓦覆盖，置勾头滴水。文昌阁东侧另有附属建筑，为三开间硬山平房。通面阔9.05米，通进深7.15米。梁架结构为穿斗式，用五柱，八檩。用材较小，装饰素雅。
文昌阁系古代读书人祭祀掌管科举功名的文昌菩萨的场所，影响较大。具有较大的历史建筑价值。
文昌阁已于2001年5月18日由余姚市人民政府公布为市级文物保护单位。