杭城上城区马坡巷16号最初是清朝桐乡贡生汪淮所购的中式宅院，园内原有水池、三曲桥、假山等。因传闻北宋大书法家米芾之子在此留有遗址，便以“小米”二字定名，称“小米山房”(俗称小米园)。
清乾隆五十三年(1788)军机处行走龚禔身辞去朝官，回家乡杭城后，正值汪家败落，趁机买下小米山房为终老之所，孙子龚自珍就在小米园出生并求学。龚自珍的父亲龚丽正，精于史学，著有《国语韦昭注疏》等；其母亲也是通书达理的大家闺秀；外祖父段玉裁更是精通文字学，重要著作有《说文解字注》、《毛诗诂训传》、《古文尚书撰异》、《六书音均表》、《周礼汉读考》、《仪礼汉读考》、《经韵楼集》等，学问精深渊博。当龚丽正于嘉庆年间考取进士不过几年，敬身、自珍及藻身这三个儿子相继中举，并在道光年间也先后考中进士，三兄弟并称为杭州“东城三龚”。
龚自珍不仅出生在杭城，而且晚年有段时间回归故里，主持过杭州紫阳书院。小米园历经数百年后衰败，仅存残园和一厅。1988年进行修复，将该园辟为“龚自珍纪念馆”对外开放。占地六百多平方米，两层楼房，上下五开间，兼有耳房，雕梁画栋，古朴典雅。馆内正厅安放龚自珍半身古铜色塑像，四周悬挂沙孟海、赵朴初等名家提写的匾额、楹联。四个展室，陈列了龚自珍生平图文简介、大事年表、史料、龚氏年谱、诗选和后人研究文集等。庭院内小桥流水、假山亭榭，在花木衬托下，富有江南园林的特色。纪念馆大门朝东，石库门上方镶着一块石匾，刻着“龚自珍纪念馆”六个字，由赵朴初先生题写。门外立有一块石碑，上刻“杭州市市级文物保护单位：小米园”，进马坡巷一百多米就能见之