怀远堡（横山旧城）位于今横山县城南一公里处芦河东岸的柴兴梁村白家梁山上，东临东门沟，南对岗家梁，西眺西关街，北隔东门沟于李家坬相望，芦河从城西自西而东流过。堡内现大都被辟为耕地，有居民二十余户，约150人。明天顺二年（1458年）撤土门堡军移守于此，建怀远堡。成化七年（1471年），延绥巡抚余子俊加修怀远堡城墙，隆庆六年（1572年）郜光先加高城墙，万历六年（1758年）砖砌牌墙垛口，清雍正九年（1731年）以五堡（响水堡、波罗堡、怀远堡、威武堡、清平堡）设县，因怀远堡居中，便利而设县址，取“怀柔边远”之意，定名“怀远县”。乾隆三年（1738年）11月怀远地震，民舍、城墙倾毁过半，知县苏淇昭助民补房，恢复城墙，乾隆十四年（1749年）在城内创办了岩绿书院，同治七年（1868年）四月，回民攻克怀远，知县刘昌藩被戳，部分城墙、庙宇被毁。民国三年（1914年）因与安徽怀远重名，改怀远县为横山县，1935年土地改革时期，刘志丹曾两次率红军攻打横山县城未克，1946年9月18日县城解放。2008年9月16日被陕西省人民政府公布为第五批陕西省重点文物保护单位。