In de 17e eeuw ontdekten de Algonquin Indianen verschillende eilanden in de baai van New York die niet volledig onder water stonden. Slechts drie eilanden kregen de naam 'Oyster Island', vanwege de hoeveelheden schelpdieren, zeebaars en oesters die in het gebied van de baai werden aangetroffen. De drie eilanden die nu bekend staan als Ellis, Liberty en Black Tom kregen deze naam van kolonisten uit Nieuw-Nederland. Het eiland bleef gedurende de volgende drie eeuwen een bron van voedselvoorziening.