Com cada edifício há um passado. Antes do restabelecimento da Ilha Ellis, a ilha foi outrora ocupada por tribos indígenas americanas conhecidas como a Tribo Algonquin que se situava na região nordeste da América do Norte. Dizia-se que a tribo indígena americana afluía à ilha porque a ilha era o lar de ostras frescas, mariscos, peixes de barbatanas e robalos listrados, todos eles uma fonte de abastecimento alimentar. A ilha recebeu mais tarde o nome dos holandeses, "Ilha das Ostras". A arqueologia foi obtida em 1985, quando a restauração ocorreu na Ilha Ellis, onde foram encontrados ossos de pato, de tartaruga e de veado, dando aos investigadores uma ideia mais clara da dieta encontrada entre a Ilha Liberty e a Ilha Ellis.
Em 1624, os holandeses criaram uma estação de comércio de peles. Em 1664, os ingleses apareceram e renomearam o outrora 'New Netherlands' para 'New York'. Nos cem anos seguintes, a ilha passaria por uma série de nomes e em 1774 a ilha foi adquirida por Samuel Ellis. Após a morte de Samuel Ellis, o Estado de Nova Iorque comprou a ilha, tornando-a oficialmente propriedade do governo.
