Her binanın bir geçmişi vardır. Ellis Adası'nın yeniden kurulmasından önce, ada bir zamanlar Kuzey Amerika'nın kuzeydoğu bölgesinde bulunan Algonquin Kabilesi olarak bilinen Kızılderili kabileleri tarafından işgal edildi. Kızılderili kabilesinin adaya akın ettiği söylenirdi, çünkü ada taze istiridye, kabuklu deniz hayvanları, yüzgeç balıkları ve çizgili levreklerin hepsi bir besin kaynağı kaynağı için ev sahipliği yapıyordu. Adaya daha sonra Hollandalılar tarafından 'İstiridye Adası' adı verildi. Arkeoloji, 1985 yılında Ellis Adası'nda restorasyon gerçekleştiğinde, ördek kemikleri, kaplumbağa kemikleri ve geyik kemiklerinin araştırmacılara Liberty ve Ellis Adası arasında bulunan diyet hakkında daha net bir fikir verdiğini buldu.
1624'te Hollandalılar bir kürk ticaret istasyonu kurdu. 1664'te İngilizler geldi ve bir zamanlar 'New Netherlands' adını 'New York' olarak değiştirdi. Önümüzdeki yüz yıl içinde, ada bir dizi isimden geçecekti ve 1774'te ada Samuel Ellis tarafından satın alındı. Samuel Ellis'in ölümünden sonra, New York Eyaleti adayı resmen hükümete ait hale getirerek satın aldı.
