С 1885 года в этом особняке размещается министерство по делам Шотландии - правительственное ведомство под эгидой министерства юстиции, призванное заботиться о нуждах населения Шотландии - видимо, поставлять им виски и зонты. Здание было построено в 1755 году Мэттью Фезерстонхау, членом парламента. В 1774 году он скончался - вероятно, его измотала болезнь под названием "Мне-постоянно-приходится-диктовать-свое-имя-по-буквам" - и тринадцать лет спустя его вдова продала дом принцу Фредерику, герцогу Йоркскому и Олбани. Принц обновил особняк, снабдив его знаменитыми портиком и круглым залом, а затем в 1792 году обменял его на дом лорда Мельбурна, располагавшийся на Пикадилли.
Особняк получил название "Мельбурн-Хаус" и носил его до 1831-го, когда купивший дом за год до этого Джордж Джеймс Велбор Агар-Эллис, очередная жертва болезни "непроизносимое имя", получил гораздо более простой титул барона Дувр. Агар-Эллис и его сын были последними частными владельцами этого здания, которое затем стало собственностью правительства.