I det 17. århundrede opdagede Algonquin-indianerne flere øer i New York-bugten, som ikke var helt under vand. Kun tre øer fik navnet "Oyster Island" på grund af de mængder af skaldyr, aborre og østers, der fandtes i bugten. De tre øer, der i dag er kendt som Ellis, Liberty og Black Tom, fik navnet af New Netherland-sættere. Øen forblev en kilde til fødevareforsyning i de næste tre århundreder.