Med hver bygning følger en fortid. Før Ellis Island blev genetableret, var øen engang beboet af indianske stammer kendt som Algonquin-stammen, som var beliggende i den nordøstlige del af Nordamerika. Det siges, at den indianske stamme flokkedes til øen, fordi øen var hjemsted for friske østers, skaldyr, finnefisk og stribet bar, som alle var en kilde til fødevareleverancer. Øen fik senere navnet "Oyster Island" af hollænderne. Arkæologien fandt i 1985, da Ellis Island blev restaureret, at der blev fundet andeknogler, skildpaddeknogler og hjorteknogler, hvilket gav forskerne en klarere idé om den kost, der fandtes mellem Liberty og Ellis Island.
I 1624 oprettede hollænderne en pelshandelsplads. I 1664 kom englænderne til og omdøbte det tidligere "New Netherlands" til "New York". I løbet af de næste hundrede år skulle øen gennemgå en række navne, og i 1774 blev øen købt af Samuel Ellis. Efter Samuel Ellis' død købte staten New York øen og gjorde den officielt statsejet.
