属于宁镇山脉的香山，位于高资境内，山麓有一座始建于唐朝的寺庙，这座寺庙虽没有灵谷寺等寺庙的名气大，却很不一般，它的存在证明了高资在唐朝时的繁盛。它就是香山寺。历史由来唐朝时期，高资因良好的港口位置而成为江淮要冲，“舟车之轻从，邮置之经绎，漕运之转输，军期之传送，未有不由此途者。”有两位唐朝名人在高资留下了足迹，一位是大将尉迟敬德，他出资修建了东方桥；一位是唐朝的贤臣魏徵，他在玄武门事变后来到高资的山林中隐居，唐太宗李世民亲赴高资请魏徵到朝廷担任要职，魏徵折服于李世民招贤的诚意，特在高资的一处地方修建了接驾亭，此处因此被命名为唐驾庄。
唐朝时信佛之人众多，在人来人往的高资港附近建造一座寺庙是众望所归。一天，下了船的过客们突然发现青翠的香山山麓增加了一座黄墙碧瓦的寺庙，信佛之人兴奋地走向这座古香山寺，拜佛祈福求好运。