Con ogni edificio c'è un passato. Prima del ristabilimento di Ellis Island, l'isola era una volta occupata da tribù di nativi americani conosciuti come la tribù Algonquin che si trovava nella regione nord-est del Nord America. Si diceva che la tribù dei nativi americani si affollava sull'isola perché l'isola ospitava ostriche fresche, crostacei, pesciolini e spigole, tutte fonti di cibo. All'isola fu poi dato il nome dagli olandesi, 'Oyster Island'. L'archeologia ha scoperto nel 1985, quando è avvenuto il restauro di Ellis Island, che sono state trovate ossa di anatra, ossa di tartaruga e ossa di cervo dando ai ricercatori un'idea più chiara della dieta trovata tra Liberty ed Ellis Island.
Nel 1624, gli olandesi crearono una stazione commerciale di pellicce. Nel 1664, gli inglesi arrivarono e rinominarono l'isola, una volta "Nuova Olanda", in "New York". Nel corso dei successivi cento anni, l'isola sarebbe passata attraverso una serie di nomi e nel 1774 l'isola fu acquistata da Samuel Ellis. Dopo la morte di Samuel Ellis, lo Stato di New York acquistò l'isola rendendola ufficialmente proprietà del governo.
