Elk gebouw heeft een verleden. Voordat Ellis Island opnieuw werd opgericht, werd het eiland ooit bewoond door inheemse Amerikaanse stammen, de Algonquin-stam, die zich in het noordoosten van Noord-Amerika bevond. Er werd gezegd dat de Indiaanse stam naar het eiland trok omdat er verse oesters, schelpdieren, vis en gestreepte baars te vinden waren. Het eiland kreeg later van de Nederlanders de naam 'Oestereiland'. Archeologie ontdekte in 1985 bij de restauratie van Ellis Island dat er eendenbotten, schildpadbotten en hertenbotten werden gevonden, waardoor onderzoekers een duidelijker beeld kregen van het dieet tussen Liberty en Ellis Island.
In 1624 stichtten de Nederlanders een handelspost voor bont. In 1664 kwamen de Engelsen langs en hernoemden het ooit 'Nieuw Nederland' tot 'New York'. In de volgende honderd jaar zou het eiland een aantal namen ondergaan en in 1774 werd het eiland gekocht door Samuel Ellis. Na de dood van Samuel Ellis kocht de staat New York het eiland en werd het officieel eigendom van de overheid.
