1937年8月，中共中央政治局洛川会议以后，中央军委决定成立八路军后方留守处，负责保卫陕甘宁边区。留守处主任由军委参谋长肖劲光兼任。留守处下辖东、西两地区留守处。东地区留守处主任陈伯钧，副主任陈先瑞。西地区留守处主任王宏坤，副主任王维舟。同年12月，留守处改称为八路军后方留守兵团。司令员肖劲光，政治部主任莫文骅。留守兵团总部机关驻延安北关云梯山和云梦山之间的小沟里(今名延中沟)。
1942年6月，陕甘中晋绥联防军司令部成立后，留守兵团归其领导。
1943年1月25日，留守兵团司令部和政治部分别发出《关于拥护政府爱护人民的决定》与《拥政爱-动月的工作指示》，规定2月份为兵团所属部队拥政爱-动月。2月1日，留守兵团公布了拥政爱民公约。
1944年，毛泽东亲自主持总结了留守兵团的政治工作经验，写成了《关于军队政治工作问题》这一重要历史文件。
1945年9月，留守兵团建制撤销，一部分部队进军东北，一部分军队留守边区。
留守兵团成立以后，内清匪患，外抗日寇，并和国民党顽固派的骚扰、破坏、--，进行了“有理、有利、有节”的斗争。同时，留守兵团所属部队参加了轰轰烈烈的大生产运动，逐步解决了部队的供给问题。留守兵团为保卫党中央，保卫陕甘宁边区立下了卓著的功勋。1945年，毛泽东在和肖劲光司令员的一次谈话中指出：“留守兵团是一支好部队，是坚决执行了党中央的正确路线，完成了党交给的任务的。”
留守兵团旧址现保留有数百孔土窑洞，多为群众所居住。