位于常熟城东白茆镇芙蓉村。明代末年著名文学家钱谦益与才妇柳如是结合，白发红颜，轰动一时。因柳氏不耐城市尘嚣，故移居此处钱性舅父家。村中有一棵植于明代嘉靖年间的红豆树，树高12米，干径0.73米。当年每逢红豆树开出“色白如珠，微香浓郁”的花朵，钱、柳总要邀请诗坛名流前来观赏，一时文采风流，盛况空前，传为文坛佳话，“红豆山庄”由此闻名遐迩。
红豆树原产于岭南，江浙一带较为罕见。“红豆生南国，春来发几枝，愿君多采撷，此物最相思”。艳丽而坚实的红豆，历来成为诗人笔下爱情与友谊的象征，“红豆山庄”之命名，即含钱、柳两人姻缘美好之意。