Chaque bâtiment a un passé. Avant le rétablissement d'Ellis Island, l'île était occupée par des tribus amérindiennes connues sous le nom de tribu algonquine, située dans la région nord-est de l'Amérique du Nord. On dit que la tribu amérindienne affluait sur l'île parce qu'elle y trouvait des huîtres fraîches, des crustacés, des poissons et du bar rayé, tous sources de nourriture. Les Hollandais ont ensuite donné à l'île le nom d'"île aux huîtres". L'archéologie a découvert en 1985, lors de la restauration d'Ellis Island, des os de canard, de tortue et de cerf, ce qui a donné aux chercheurs une idée plus précise de l'alimentation entre Liberty et Ellis Island.

En 1624, les Hollandais ont créé une station de commerce de fourrures. En 1664, les Anglais sont arrivés et ont rebaptisé l'ancienne "Nouvelle Hollande" en "New York". Au cours des cent années suivantes, l'île a connu plusieurs noms et en 1774, elle a été achetée par Samuel Ellis. Après la mort de Samuel Ellis, l'État de New York a acheté l'île, la rendant ainsi officiellement propriété du gouvernement.