Замок Скарборо находится на примерно треугольную мыс, который поднимается в 300 метрах над уровнем моря. Там свидетельства поселения железного века и остатки римских сигнала станции на сайте, но Уильям Легро, Фото Омальский, был построен первый средневековый замок в 1130's. Он построена стена на стороне суши мыса и построил башню, где сейчас стоит держать. , Когда Генрих II вступил на престол в 1154 он потребовал возвращения всех королевских замков, и Скарборо, который был построен на королевское поместье, был один из замков, утилизирован короны.