Zu jedem Gebäude gehört auch eine Vergangenheit. Vor der Wiedererrichtung von Ellis Island war die Insel einst von amerikanischen Ureinwohnern bewohnt, dem Algonquin-Stamm, der im Nordosten Nordamerikas beheimatet war. Es heißt, dass die Ureinwohner auf die Insel strömten, weil es dort frische Austern, Muscheln, Flossenfische und Streifenbarsche gab, die alle eine Nahrungsquelle darstellten. Später gaben die Niederländer der Insel den Namen "Oyster Island". Die Archäologie entdeckte 1985 bei der Restaurierung von Ellis Island Entenknochen, Schildkrötenknochen und Hirschknochen, was den Forschern eine genauere Vorstellung von der Ernährung zwischen Liberty und Ellis Island vermittelte.
Im Jahr 1624 gründeten die Niederländer eine Pelzhandelsstation. Im Jahr 1664 kamen die Engländer und benannten die einstigen "Neuen Niederlande" in "New York" um. Im Laufe der nächsten hundert Jahre erhielt die Insel eine Reihe von Namen, bis sie 1774 von Samuel Ellis erworben wurde. Nach Samuel Ellis' Tod erwarb der Staat New York die Insel und machte sie damit offiziell zum Staatsbesitz.
