Con cada edificio hay un pasado. Antes del restablecimiento de Ellis Island, la isla estuvo ocupada por tribus de nativos americanos conocidas como la tribu Algonquin, que se encontraba en la región noreste de Norteamérica. Se dice que la tribu de nativos americanos acudía a la isla porque en ella se encontraban ostras frescas, mariscos, peces de aleta y lubinas rayadas, todos ellos fuente de suministro de alimentos. Posteriormente, los holandeses dieron a la isla el nombre de "Isla de las ostras". En 1985, cuando se llevó a cabo la restauración de la isla de Ellis, la arqueología descubrió huesos de pato, de tortuga y de ciervo, lo que permitió a los investigadores hacerse una idea más clara de la dieta encontrada entre Liberty y Ellis Island.
En 1624, los holandeses crearon una estación de comercio de pieles. En 1664, llegaron los ingleses y cambiaron el nombre de la antigua "Nueva Holanda" por el de "Nueva York". En los siguientes cien años, la isla pasaría por varios nombres y en 1774 fue adquirida por Samuel Ellis. Tras la muerte de Samuel Ellis, el Estado de Nueva York compró la isla, haciéndola oficialmente propiedad del gobierno.
