《续汉书·百官志三》叙述御史中丞的沿革时说：“御史中丞一人，千石。本注曰：御史大夫之丞也。旧别监御史在殿中，密举非法。及御史大夫转为司空，因别留中，为御史台率。”①“因别留中”一句，尽管很是含混②,却暗示此时御史大夫已不在“中”。所谓"中",汉代基本是指皇帝起居生活的区域，但有宫中、殿中、禁中(省中)等不同的说法③,所指的范围也不同。这里所说的“中”就难以确定所指，且认为迁出的时间是在改名为司空时，即汉成帝绥和元年(前8年)④,亦偏晚。
关于西汉后期御史大夫办公地点迁到未央宫外，《汉书·酷吏·严延年传》的一段描述提供了有力的证据。该传云：
宣帝初即位，延年劾奏(霍)光……后复劾大司农田延年持兵干属车，大司农自讼不干属车。事下御史中丞，谴责(严)延年何以不移书宫殿门禁止大司农，而令得出入宫。于是覆劾(严)延年阑内罪人，法至死。延年亡命。会赦出，丞相御史府征书同日到，延年以御史书先至，诣御史府，复为掾。宣帝识之，拜为平陵令，坐杀不辜，去官。⑤
严延年劾奏大司农田延年事当发生在宣帝元平元年(前74年)七月即位到本始二年(前72年)春之间。据《汉书·宣帝纪》,二年春“大司农阳城侯田延年有罪，自杀”。①严延年因此反遭御史中丞的劾奏亦在本始二年春之前，他随后逃亡。史载“会赦出”,据《宣帝纪》,当指本始四年三月(前70年),立皇后霍氏，赦天下。②丞相府与御史府征召他的文书同日到达，而因御史书先到，延年到御史府为掾。
仔细考订严延年这段经历发生的时间，延年应征御史府一事足以证明，至晚到宣帝本始四年三月之前，御史大夫寺已经自未央宫的司马门内迁到宫之外，并改称御史府。
得出这一结论，关键在于西汉时期入宫的门籍制度。东汉初卫宏的《汉官旧仪》云：
皇帝起居仪：宫司马内，百官案籍出入。营卫周庐，昼夜谁何。殿外门署属卫尉，殿内郎署属光禄勋。
东汉胡广的《汉官解诂》“卫尉”条则有更细致的记述：
凡居宫中者，皆施籍于门，案其姓名。若有医巫僦人当入者，本官长吏为封启传，审其印信，然后内之。人未定，又有籍，皆复有符。符用木，长二寸，以当所属两字为铁印，亦太卿炙符，当出入者，案籍毕，复齿符，乃引内之也。其有官位得出入者，令执御者官，传呼前后以相通。从昏至晨，分部行夜，夜有行者，辄前曰“谁!谁!”若此不解，终岁更始，所以重慎宿卫也。③
与后一条类似的记载又见于《续汉书·百官志二》“卫尉”条。概括而言，那些“居宫中者”在宫门处要有“籍”和“符”,当时称为“引籍"或"门籍”,将某人的姓名记录于籍上称为“著籍”或“通籍”,相反则为除籍。“符”有刻齿，并剖分为两半，由宫门守卫与居宫中者分持，入宫时要合符来验证。按照《汉旧仪》的说法，能够出入宫中的百官亦要有籍，出入当要核对。而《汉官解诂》并没有提到针对“有官位的出入者”的籍，两文略有不同。
上引虽为东汉人的记载，揆以西汉的史实，却也相吻合。这里仅举一例。《汉书·董贤传》载，哀帝宠幸董贤，贤侍宫中，“每赐洗沐，不肯出。常留中视医药。上以贤难归，诏令贤妻得通引籍殿中，止贤庐，若吏妻子居官寺舍”①,便是通过下诏将董贤之妻的姓名列于可进入殿中者的引籍上，从而使他们可以在殿中团聚。而非在宫内当差且有事入宫者，则由其上司主管长官发给“启传”作为凭证。一定级别以上的官员，入宫时则由驾车者宣呼其官职来通过。②
无籍、符或启传而入宫为“阑入”,轻则为城旦，严重的甚至会被处死。③而官员一旦遭到劾奏，也被禁止入宫。上引《严延年传》中，御史中丞就是以他没有及时通报宫门与殿门，禁止田延年出入宫殿为由，转而劾奏严延年，并迫使他逃亡的。①
正是因为有如此严格的制度，严延年在遭到御史中丞的覆劾，并畏罪亡命后，自然会从出入宫殿的引籍中除名，两年后，依赦令免罪为庶人，因无官职且无入宫资格，亦不会恢复其籍。此种情况下，如果御史府仍在宫中，他是无法进入的，只有御史府迁到宫外，才可以顺利应征入府为掾。
这是一证。此外，《汉书·霍光传》云：
(霍)光薨，上始躬亲朝政，御史大夫魏相给事中。(霍光夫人)显谓禹、云、山：“女曹不务奉大将军余业，今大夫给事中，他人壹间，女能复自救邪?”后两家奴争道，霍氏奴入御史府，欲躅大夫门，御史为叩头谢，乃去。人以谓霍氏，显等始知忧。(68/2951)
魏相与霍氏两家的家奴争道，后者的家奴进入御史府，甚至要蹋御史大夫府的门，且此事开始并不为主人所知，显然是众家奴在主人不在场情况下狐假虎威所为。依时制，此事应发生在宫外。宫中有很多官奴婢②,但大臣的家奴一类人通常不应有资格入宫。《汉书·王莽传中》天凤元年，“公卿入宫，吏有常数，太傅平晏从吏过例，掖门仆射苛问不逊”③,跟随公卿入宫的吏的人数都有限制，地位更低且不具有官吏身份的公卿家奴就更没有资格了，他们更不可能离开主人自行进宫。①此外，御史大夫原为皇帝身边的近臣，就在宫中办公，无须再靠加官来获得出入宫禁的资格，而魏相这时却被授予“给事中”的加官，亦是其已不在皇帝身边的明证。②霍光死于宣帝地节二年(前68年)三月，因此，至晚此时御史大夫府已在宫外无疑。
第三证见《汉书·萧望之传》:
(神爵)三年(前59年),代丙吉为御史大夫。五凤中(前57—54年)匈奴大乱，议者多曰匈奴为害日久，可因其坏乱举兵灭之。诏遣中朝大司马车骑将军韩增、诸吏富平侯张延寿、光禄勋杨恽、太仆戴长乐问望之计策，望之对曰……(78/3279)
此时御史大夫应已迁到宫外，所以宣帝要问计于当时的御史大夫萧望之，只能委派身边的中朝大臣到宫外御史府。若当时犹在宫中，完全无须派此四人去，宣帝直接面询萧望之即可。
再有一证与上计制度有关。甘肃敦煌悬泉置遗址出土的一件西汉宣帝时期的传文书：
甘露三年(前51年)十一月辛巳朔乙巳，敦煌大守千秋、长史奉熹、丞破胡谓过所县河津：遣助府佐杨永视事上甘露三年计最丞相御史府，乘用马一匹，当舍传舍，从者如律令。十一月丙辰，东。
此文书是由敦煌太守等为前往长安的丞相御史府进行上计的助府佐杨永及其从者签发的。当时全国100多个郡国，年底都要派遣官吏到长安上计。这些临时到京的各地计吏有数百人之多，显然不会在宫门的引籍上留有姓名，因此，若如此文书所言，他们要到御史府上计的话，此时御史府一定已经迁到宫外。《汉旧仪》卷上提到“大夫见孝廉、上计丞、长史，皆于宫司马门外，比丞相掾史白录”②,应是御史大夫的办公地点迁到宫外之前的做法。之所以如此，亦是因来自各地的孝廉与上计吏没有通引籍，无法入宫，只好在宫外相见。
根据以上三证，可以推定，最晚从宣帝本始四年(前70年)起，御史大夫寺已经自未央宫内迁到宫外，并改名御史府。
另外，文献中“御史府”的提法亦多次出现。除上引三例外，复见于《汉书·丙吉传》“掖庭令将则诣御史府以视(丙)吉”与《朱博传》③,两例分别为宣帝与成帝末年事。敦煌悬泉汉简中至少还有五处出现了“御史府”:
1.上印绶，谨牒书印章谓上御史府，请为更刻，移中二千口相布告属县、官，毋听亡印，如律令，敢言之。
2.所亡传同封第者，辄捕系，上传信御史府。如律令。
3.口令史周生宗上印绶御史府，从者一人，凡二人，人再食，食三升，东口ⅡT0115③:318①
4.御史治所，一封诣武都郡上禄。十二月辛未，日出一干，新民卒青肩
例5见于永光五年(前39年)的“失亡传信册”,其中有“莫传有与所亡传同封弟者，辄捕系，上传信御史府，如律令”(Ⅱ0216②:868—869)。③例1应是某位太守交代前上缴印绶给御史府，并请求为新太守另刻印章的上书。例2与例5一样，是御史大夫下令追查失亡传信的文书。例3则是承担上缴印绶任务的官吏在悬泉置享用传食的记录。例4是邮书刺。其中仅例5时间明确。据整理者介绍，悬泉简中出现的纪年简最早为西汉武帝，最晚为东汉安帝永初元年(107年),但武帝时的或为后来编定的施行诏书目录(元鼎六年),或为失亡传信后御史大夫发出的追查文书(太始与征和年间),为事后的追述。整理者认为确切的纪年简始于昭帝始元二年(前85年)。④其实若据永光五年的“失亡传信册”,追查文书的下发距签发传信的时间不会太久。若这些并非追查文书，而是失亡传信的记录，就当另论了。统计整理者提供的悬泉纪年简的时间分布表，以昭帝至王莽时期为主⑤,上述4例属于此时段的可能性最高。
又如学者所言，约在昭宣时期出现了“两府”“二府”的说法，分指丞相府与御史府。①而前引《汉官旧仪》指出其在宫内时称为“御史大夫寺”。称呼上仅一字之差，但称“府”的出现与上述考证其外迁出宫的时间大体相同，两者之间恐不会没有联系。②
御史大夫寺迁到宫外后的位置，西汉文献全无记载，但据东汉三公府的位置以及西汉丞相府的位置③,大致可以推定是在未央宫东司马门外，丞相府附近，应在武库以南，长乐宫以西。《汉书·刘屈整传》载，征和二年春，武帝制诏御史，拜屈整为左丞相、封侯，并云“分丞相长史为两府，以待天下远方之选”①,要求是将丞相府分为两个，来安置右丞相。实际直至西汉末丞相均只有一人，此时分出的另外一府未曾派上用场，或许成为御史大夫迁出后的办公地点。《汉书·朱博传》载，成帝时“御史府吏舍百余区井水皆竭；又其府中列柏树，常有野乌数千栖宿其上，晨去暮来，号曰‘朝夕乌’,乌去不来者数月，长老异之”。这便是迁出后的御史府景象。⑤