У каждого здания есть свое прошлое. До восстановления острова Эллис остров был заселен коренными американцами, известными как племя алгонкинов, которое проживало в северо-восточном регионе Северной Америки. Говорят, что коренные американцы стекались на остров, потому что здесь водились свежие устрицы, моллюски, плавниковая рыба и полосатый окунь, которые служили источником пропитания. Позже голландцы дали острову название "Устричный остров". В 1985 году, когда на острове Эллис проводилась реставрация, археологи обнаружили кости утки, черепахи и оленя, что дало исследователям более четкое представление о рационе питания, существовавшем между островом Свободы и островом Эллис.
В 1624 году голландцы создали здесь станцию по торговле пушниной. В 1664 году появились англичане и переименовали некогда "Новую Голландию" в "Нью-Йорк". В течение следующих ста лет остров пережил несколько названий, а в 1774 году его купил Сэмюэль Эллис. После смерти Сэмюэля Эллиса штат Нью-Йорк приобрел остров, сделав его официальной государственной собственностью.
