Имя Скотланд-Ярд происходит от его первоначального местоположения на улице Большой Скотланд-Ярд (англ.) в районе Уайтхолла. Интересны и версии происхождения названия улицы. По одной из них в X веке английский король Эдгар отдал шотландскому королю Кеннету кусок земли рядом с Вестминстерским дворцом в Лондоне. Он потребовал, чтобы король Кеннет построил там резиденцию и посещал её ежегодно, отдавая тем самым дань уважения королевству Англии от лица Шотландии. Король Кеннет построил себе дворец и жил там всякий раз, когда приезжал в Англию. Дворец оставался владением шотландских королей и считался территорией Шотландии. Когда в 1603 году умерла королева Елизавета I, король Шотландии Яков VI стал королём Англии и Шотландии, и дворец потерял своё первоначальное предназначение. Его разделили на две части: первую назвали «Большой Скотланд-Ярд», вторую — «Средний Скотланд-Ярд». Их стали использовать как правительственные здания.
Существуют также версии, что в Средние Века улица принадлежала человеку по имени Скотт, а также, что с этой улицы когда-то отправлялись дилижансы в Шотландию.
К XVII веку, улица стала местом расположения правительственных зданий, спроектированных архитекторами Иниго Джонсом и Кристофером Реном, жившими здесь.
Полиция Большого Лондона была сформирована министром внутренних дел сэром Робертом Пилем, во исполнение инициированного им же Закона о лондонской полиции, принятого Парламентом в 1829 году. Сэр Роберт Пиль при помощи Франсуа Эжена Видока выбрал первоначальным местом расположения Главного управления современный Скотланд Ярд. В 1829 году здание было занято полицией во главе с её первыми начальниками сэром Чарльзом Роуэном (англ.) и сэром Ричардом Мэйном (англ.). (Интересно, что до 1855 года этот пост совместно занимали два офицера). Два начальника, наряду с офицерами полиции и персоналом, заняли частный дом по адресу Уайтхолл, 4, задняя часть которого выходила во внутренний двор. Она была использована как отделение полиции. Это и был тот адрес, благодаря которому полиция Большого Лондона названа Скотланд-Ярдом.
К 1887 году Скотланд-Ярд занимал дома номер 3, 4, 5, 21 и 22 по площади Уайтхолл, дома 8 и 9 по улице Большой Скотланд Ярд, дома 1,2 и 3 по Дворцовой площади, а также различные пристройки и автономные здания, склады и хранилища, Public Carriage Office (англ.) (орган, отвечающий за лицензирование деятельности таксистов и кэбменов) и CID offices (англ.) (Департамент уголовного розыска). Ввиду такого бурного и неадекватного роста в 1890 году эти управления были перемещены на набережную Виктории, спроектированную Ричардом Норманом Шоу, и получили название Новый Скотланд-Ярд. Между прочим, во время строительства одного из зданий рабочие нашли расчленённый труп женщины, предположительно, одной из жертв Джека-Потрошителя.
К 1890 году штат Лондонской полиции вырос от первоначальных 1000 офицеров до 13000, что требовало больший административный штат и большую штаб-квартиру. Ввиду дальнейшего расширения размеров и обязанностей полиции появилась необходимость ещё более увеличить персонал, поэтому в 1907 и 1940 годах Новый Скотланд-Ярд был расширен. Этот комплекс зданий в настоящее время внесён в список сооружений, представляющих архитектурную, историческую или культурную значимость.
К 60-ым годам XX века с развитием современных технологий и дальнейшим расширением полиции Лондона, стало очевидно, что потребности полицейского управления переросли возможности штаб-квартиры на набережной Виктории. По этой причине в 1967 году Новый Скотланд-Ярд переехал в здание по адресу Broadway 10. Здание на набережной Виктории сейчас известно под названием Norman Shaw (North) building (англ.). Часть его в настоящее время занимает Департамент охраны полиции Большого Лондона.
Телефонный номер Скотланд-Ярда изначально был 1212. Большая часть полицейских отделений Лондона в качестве последних четырёх цифр в номере телефона также используют 1212.
Первое здание Скотланд-Ярда после переноса из него полиции, поступило в распоряжение Британской армии. После перестройки там разместились армейский вербовочный центр и штаб-квартира Королевской военной полиции. Впоследствии, в этом здании располагалась библиотека Министерства обороны. В настоящее время, единственный элемент, оставшийся от первоначального Скотланд-Ярда — это конюшни полиции в здании по адресу Большой Скотланд-Ярд 7.
База данных полицейского управления размещается в Новом Скотланд-Ярде. Здесь используется национальная IT система, разработанная для запросов всех силовых структур и называемая Главная поисковая система Министерства внутренних дел. Она более известна по аббревиатуре HOLMES. Кроме того, учебная программа называется «Элементарно», в честь великого сыщика Шерлока Холмса.
Ряд защитных мер было добавлено на внешней части Нового Скотланд-Ярда в 2000 году, включая бетонные барьеры перед нижними окнами для защиты от заминированных автомобилей. Кроме того, добавлена бетонная стена около входа в здание. Вооружённые офицеры из Службы дипломатической охраны (англ.) патрулируют фасад здания вместе с полицейской охраной.
30 мая 1884 года, во время Фенианских массированных бомбардировок 1883-1885 годов, было отправлено анонимное письмо с угрозами бомбардировок Скотланд-Ярда и других правительственных зданий Центрального Лондона. Ночью 30 мая взрывное устройство было заложено в писсуар на внешней стене Скотланд-Ярда. Взрыв нанёс серьёзный ущерб Департаменту уголовного розыска и офису Специального Ирландского отделения.