民国四年《重修蒙城县志》记载：土山在县北十里，五丈，周一里六十步。土多石少，故呼为土山。
而据传说，土山本名梁山。山虽不大，但山上的石材很好，可作栋梁。而且石头裸露于外，山上的土并不多。后来山上的土为什么多了呢？
这事与“金头御史”何惟儆有关。
有一年，北京城大建宫殿，打算征用土山的石材。
何惟儆心想，开山，采石，雕凿，运输，千里迢迢，困难重重。如此沉重的负担，家乡的人民如何承受得了！于是他赶紧派人回蒙城说明利害，让人赶快抬土封山，把石头全部埋在黄土之下。之后，他对工部说，蒙城的梁山，实为小小土丘，根本没有美石。工部派人来查看，果然如此，就不再征用梁山石材。
家乡人民免除了苛重的劳役之苦。从此，梁山也就成了土山，也有人把它叫做梁土山。