以上只是找到了御史大夫寺迁到宫外的下限，究竟是什么时间迁出的，还要进一步研究。
目前能找到的御史大夫犹在未央宫内工作的时间下限是武帝元鼎二年(前115年)。《史记·酷吏·张汤传》记官员间的争斗如何致张汤于死地，叙述深得张汤宠信的属吏(史)鲁谒居被告发，事下廷尉，结果：
谒居病死，事连其弟，弟系导官。汤亦治他囚导官，见谒居弟，欲阴为之，而详不省。
致使谒居弟心生误解，而使人诬告张汤与谒居谋划告发他人。①文书转到与张汤有矛盾的官员之手，再加上其他一连串的矛盾，使得与汤有隙的官员联手向皇帝告发张汤，终动摇了武帝对张汤的信任，迫使汤自杀。据《汉书·武帝纪》,元鼎二年(前115年)十一月，御史大夫张汤有罪，自杀。②
按《汉书·百官公卿表上》,导官为少府的下属，具体职掌，史书说法不一。③汉景帝的阳陵15号外藏坑粮食遗存表面出土了“导官令印”封泥，据研究，原先应是封于内置粮食的木箱上④,可知武帝初导官负责皇室日常粮食供应无疑，自然应位于未央宫内，具体位置不详。另据未央宫遗址的考古发掘，少府应位于未央宫前殿以北，皇后居住的椒房殿以西的区域。对少府或其所辖官署(未央宫四号遗址)的发掘中，在F10内出土不少“汤官饮监章”封泥，且许多房屋遗址中普遍发现有木炭灰带，推测原先应在地面上搭建木板，有的房间，如F4与F5,还设有两条通气道，F11的房内堆积中发现不少兽骨。①这些房间多数应属于储存易腐物品的空间，加上出土了“汤官饮监章”封泥，这里至少部分空间要用来保存食物。因汤官所用的粮食应由导官提供，导官很可能就在四号遗址内，甚至就在F10附近。导官负责为皇室提供粮食，事关皇帝健康与生命安全，其机构所在自然属于宫禁重地，一般人难以进入。②
导官狱属于西汉中都官狱的一种③,羁押的恐怕应是宫内，特别是与少府有关的案件的嫌犯与证人。鲁谒居及其弟之所以会被关押于此，应与谒居身为御史大夫的属吏，在宫内工作有关。该狱亦应非一般外朝官员所能踏入，更不要说在此审理此中的案件，除非得到皇帝特别的命令。而御史大夫张汤犹要在此治囚，表明其时御史大夫依然是宫官，在未央宫内办公。
以上是目前所见御史大夫在宫内办公的下限，至于外迁的下限，则是上文引用的宣帝本始四年(前70年)三月，两者相距45年。是否还可以进一步确定外迁的时间?
据《汉书·百官公卿表下》,张汤之后到宣帝本始四年间，担任御史大夫的依次为以下14位：
石庆：武帝元鼎二年(前115年)二月—元鼎五年(前112年)九月，迁丞相。
卜式：元鼎六年(前111年),贬为太子太傅。
兒宽：元封元年(前110年)—太初二年(前103年)十二月，卒。
延广：太初三年(前102年)正月—太初四年(前101年)。
王卿：天汉元年(前100年)—天汉三年(前98年)二月①,有罪自杀。
杜周：天汉三年(前98年)—太始二年(前95年),卒。②
暴胜之：太始三年(前94年)三月—征和二年(前91年)七月③,下狱自杀。
商丘成：征和二年(前91年)九月—后元元年(前88年)六月④,祝诅自杀。
桑弘羊：后元二年(前87年)二月—元凤元年(前80年)九月⑤,谋反诛。
王欣：元凤元年(前80年)九月—元凤四年(前77年)二月，迁丞相。杨敞：元凤四年(前77年)二月—元凤六年(前75年)十一月，迁丞相。
蔡义：元凤六年(前75年)十一月—元平元年(前74年)九月，迁丞相。
田广明：元平元年(前74年)九月—宣帝本始三年(前71年)秋①,为祁连将军。
魏相：本始三年(前71年)六月—地节三年(前67年)六月，迁丞相。②
以上诸人中，值得注意的是商丘成与桑弘羊。商丘成在平定戾太子刘据起兵中立功，延(征)和二年(前91年)七月被封为秏侯，同日受封的还有两位在此事件中立功者。③两个月后，商丘成由大鸿胪拜为御史大夫。不过，随着武帝对巫蛊之祸的反省与平反，这些因此立功受封者均以各种理由被杀或自杀，商丘成亦没有逃脱此命运。④此后，直到武帝临终，御史大夫一职空缺达8个月，颇为罕见。这应与武帝晚年多病有直接关系。考虑到武帝身体状况，临终前一年，政务上并无积极举措，即便没有御史大夫，汉朝已有成熟的“行”“守”制度，主官空阙，机构依然可以正常运作，文书可照旧处理。此间外迁御史大夫寺的可能性很小。
最引人注意的是武帝临终前任命桑弘羊为御史大夫，参与辅政，终弘羊卷入燕王、盖主、上官桀父子的谋反被杀，此事很可能是导致外迁的直接导火索。
桑弘羊是武帝重用几十年的兴利之臣，对于保证武帝一朝财政稳定，发挥了关键作用，深得武帝信任，因而临终前将其指定为辅政人选，并出任空缺多时的御史大夫，如下文所论，御史大夫掌管律令，对于维护统治的连续性颇为重要，同时，弘羊又擅长兴利，可以保证昭帝朝财政收入。可以说，武帝对身后的人事安排，考虑得颇为周到。
不过，计划赶不上变化，武帝临终的精心安排很快就因各种因素而产生问题。首先是金日確一年后便死去，而上官桀父子与霍光间因争权逐渐产生矛盾，加上燕王、盖长公主等加入其中，最终导致你死我活的斗争，上官桀等在元凤元年九月试图谋杀霍光，废帝，立燕王，计划泄露而被捕，并以谋反罪被处死，桑弘羊亦卷入，一同获罪被杀，桑弘羊整个宗族亦全部被诛。①
关于此次谋反，桑弘羊是否参与，今人尚有不同看法。②从《霍光传》所载“尽诛”弘羊宗族，以及《杜延年传》中对藏匿桑弘羊之子桑迁案的处理看，极为严厉，至少霍光认为弘羊参与其中。据《食货志》与《盐铁论》,在治国方针究竟是在德化还是兴利上，桑弘羊与霍光间产生分歧，这或是两人矛盾的根源。③元帝时，张临亦谦俭，“每登阁殿，常叹曰：‘桑、霍为我戒，岂不厚哉!’且死，分施宗族故旧，薄葬不起坟”,师古注曰：“桑，桑弘羊也。霍，霍禹也。言以骄奢致祸也。”④看来，元帝时人亦认为桑弘羊是前车之鉴，恐怕与其参与谋反不无关系。三国时期流传的说法是：“上官桀、桑弘羊与霍光争权，几成祸乱。”⑤
此次谋反恐是导致御史大夫办公地点外迁的直接原因。前引《汉书·严延年传》说明，西汉时大臣遭到劾奏，便不能进入宫殿门，若是谋反重罪，更是要严加防范，且会连及其下属与荐举的官员。《汉书·杜业传》云：“故事，大逆朋友坐免官。”⑥居延新简EPT65:301“臣请免其所荐用在宫司马、殿中者，光禄勋、卫(尉)”⑦,便是在居延甲渠候官发现的受某大臣牵连而免除其所荐举的宫官与侍卫的上奏抄件(后当成为诏书下发各地),即是一例。
这次谋杀生于内，主谋者或与霍光有姻亲关系，或是昭帝的兄、姊，颇为亲近，对霍光个人心理打击颇大，因而倍加小心。《汉书·萧望之传》载：
先是左将军上官桀与盖主谋杀光，光既诛桀等，后出入自备。吏民当见者，露索去刀兵，两吏挟持。望之独不肯听，自引出閤曰：“不愿见。”吏牵持匈匈。光闻之，告吏勿持。望之既至前，说光曰：“将军以功德辅幼主，将以流大化，致于洽平，是以天下之士延颈企踵，争愿自效，以辅高明。今士见者皆先露索挟持，恐非周公相成王躬吐握之礼，致白屋之意。”于是光独不除用望之，而仲翁等皆补大将军史。①
谋反弭平后，霍光严加戒备，广及所有要拜见者。从萧望之的经历看，霍光显然对其谏言颇为不满，折射出霍光对个人生命安危的极端小心，与对他人的极端防备，他对参与谋反者的痛恨亦可想而知。
整个西汉一朝，御史大夫在位时被处死或自杀的例子很多，不过，因谋反而坐诛的仅此一例。谋反是极为严重的罪行，后被列为“十逆”之首②,此案处理中亦是尽诛上官桀、安、桑弘羊与丁外人宗族，穷尽党羽，加上桑弘羊已在任七年，党羽故吏一定不少，朝廷虽下了宽大诏书，但实际上不会轻易放过。此一重罪，必成为清洗桑弘羊党羽，并将其机构迁出宫外的关键借口。