山阳城遗址位于焦作是东南待王乡墙南村的北侧。据《后汉书.君国志》载：周文王子蔡叔监殷，食邑于河内，山阳有蔡城，或曰蔡叔邑。《史记》载：秦时，长信侯于山阳之地居之。《三国志》也记有东汉末年，曹丕称帝，贬汉献帝刘协于山阳城，以河内之山阳邑万户奉汉献帝为山阳公。城墙大部分高出地面，清晰可见。古城呈不规则的长方形，缺东南角。北城墙长1850米，破坏严重，有断有续；东城墙长1350米；西城墙长1000米，除自然风化外，保存基本完好；南城墙中间大部分已无痕迹。城墙周长为5000米，有9门（北5门、西2门、东1门、南1门）的痕迹。城墙宽14-35米，残墙高4-6米，为夯筑而成。城墙断面夯土层明显，每层厚10-15厘米，厚薄均匀。城东北有汉献帝的墓冢。在城的西北角发现有汉代的完整瓦当与碎瓦片等遗物，在城南挖掘出用青石板平铺的地面，在城墙上多次拣到过铜镞，在城的附近还发现了被箭射穿成孔的人头骨，在城外马作墓群区曾经出土过刻有山阳铭文的陶器。城内原有法明寺、藏梅寺（佛教称千佛殿），城北的墙北村有石岩寺（下院）等名寺古刹。现寺院的古建筑虽已无存，但还存有千佛石刻造像碑、重修神农庙碑等文物。
从有关文献资料及城墙遗址的夯土层看，山阳城为汉代所筑。建筑雄伟，结构合理，城墙坚固，利于防御，反映了汉代劳动人民夯土建筑的高超技艺，是古代劳动人民聪明智慧的结晶，也是研究汉代政治、经济、文化及城市规模、市区规划等方面的实物例证。
1963年6月，公布为河南省第一批省级文物保护单位。