金马寺是昆明地区最早的佛教寺院，早在东汉，金马山上就有最早的建筑——金马神祠。唐仪凤元年（公元676年），蒙舍威成王加封金马山神为“金马名山至德景帝”并命寺额“灵应寺”，这是金马寺最早的文献记载。
之后金马寺虽然兴废更替，但是香火终究绵延不绝，洪武十四年（公元1381年）腊月二十三日于明军攻克昆明，金马寺毁于战火；正统三年（公元1438年），已毁五十七年的金马寺在黔国公沐晟，征南将军、都督沐昂的支持下，住持法坚与乡贤何仲渊，阮振主持修复了金马山灵应寺。
据文史记载，修复后的灵应寺建筑雄伟、金碧辉煌；金马山上依次建有：三门殿、两庑厢房、中殿、大雄宝殿、祖堂、斋堂、禅堂、方丈室、僧寮、三贤祠、占地面积宏大，跃居昆明八大名胜之一——金马朝晖。
万历十九年（公元1591年）由于金马山灵应寺年久凋零，在住持兴成的操持下，云南巡抚陈永宾再次重修，并拨田地作为寺院永久香火田，寺院规模更胜于前，正统九年（公元1444年），官民人等襄助建成灵应寺塔。
康熙二十年（公元1681年），清庭平三藩之乱，金马寺毁于兵燹，康熙二十三年（公元1684年）固山贝子彰泰施资，在云南布政使田启光，绥远将军、总督蔡毓荣，巡抚王继文的支持下，住持僧书定主持重建，恢复旧观。
嘉庆九年（公元1804年）昆明知县和云贵督标副将再次修葺。
嘉庆二十一年（公元1861年）六营官兵新建神冀亭。
咸丰七年（公元1857年）滇西杜文秀起义攻陷昆明，由于金马山地处入昆要道，寺院再次毁于兵祸，只遗至德殿和灵应塔尚存，云贵总督岑毓英布施白银五十两，用以修复古刹，由于资金不足，虽历经二十载的复建，终未完成旧貌只建成四殿三庑一亭及山门，金马山灵应寺由此凋零败落。
光绪十八年（公元1892年）住持师训修葺。
从文献资料看，金马山灵应寺自蒙诏开山以来，虽然朝代更替，代有废兴，始终雄居昆明名胜古刹，据文献记载，旧时金马寺由三个部分组成，最古的是金马神祠，其它二部份分别是三贤祠和灵应寺，旧时建筑宏伟，古树参天，民国政府曾发布过保护金马山古树的政令。
金马山灵应寺虽然未复旧观，但在昆明地区的影响依然巨大，可惜“文革”期间像毁僧散，只遗旧殿改为学校，1983年12月昆明市官渡区人民政府公布金马山灵应寺的三太子殿、神骥亭和金马寺塔为重点文物保护单位。