潘世恩宅位于城区临顿路钮家巷，原名留余堂，又称太傅第。2006年被列为江苏省文物保护单位。
潘士恩宅原有房屋三路六进，后部园林仍以凤池园为名。如今园已废毁，尚存住宅三路四进，占地2135平方米，建筑面积1484平方米。
历史沿革：
潘世恩历乾嘉道咸四世，在朝五十余载，官至三公，位极人臣，为清代汉臣中所罕见。潘氏一族高官显宦多，为清代苏州最为显赫的家族，号称“贵潘”，有“祖孙父子叔侄兄弟翰林之家”之誉。潘世恩是其中官阶最高、任职最久的一位。留馀堂作为潘世恩故居，有一定历史价值。
潘世恩(1769—1854)，字槐堂，号芝轩，清吴县(今苏州)人。乾隆五十八年(1793)癸丑科状元及第，曾先后任工、户、吏部尚书，官至武英殿大学士、军机大臣，加太子太保，晋太傅。咸丰四年卒，谥文恭。嘉庆十四年(1809)，潘世恩为奉养父亲潘奕基，购得钮家巷顾氏凤池园西部，修治为第宅，其子潘曾沂绘有《临顿新居图》。十九年，丁母忧回苏，后又以父老乞养，在此居住十三年，潜心学问，著成《正学编》一卷、《读史镜古编》三十二卷。太平天国时期，英王陈玉成来苏会见忠王李秀成，曾在此居留数日。
现存情况：
1982、2003年两度整修。
正路原有三座镌有清“康熙”年号的砖雕门楼，雕刻颇精，均毁于1966年。现有门楼为1982年所修，已非原貌。
2006年6月5日，潘世恩宅被公布为第六批江苏省文物保护单位。