En el siglo XVII, los indios algonquinos descubrieron varias islas en la bahía de Nueva York que no estaban totalmente sumergidas en el agua. Sólo tres islas recibieron el nombre de "Isla de las Ostras", debido a la cantidad de mariscos, lubinas y ostras que se encontraban en la zona de la bahía. Las tres islas conocidas actualmente como Ellis, Liberty y Black Tom recibieron el nombre de los colonos de los Nuevos Países Bajos. La isla siguió siendo una fuente de suministro de alimentos durante los tres siglos siguientes.