Pamoja na kila jengo kuna zamani. Kabla ya kuanzishwa tena kwa kisiwa cha Ellis kisiwa kiliwahi kukaliwa na makabila ya asili ya Amerika yaliyojulikana kama Kabila la Algonquin ambalo lilikuwa katika mkoa wa kaskazini mashariki mwa Amerika Ya Kaskazini. Ilisemekana kwamba kabila la wenyeji wa Amerika walimiminika katika kisiwa hicho kwa sababu kisiwa hicho kilikuwa makazi ya oysters safi, samaki wa mabomu, samaki wa mapezi na kuvua bass zote chanzo cha usambazaji wa chakula. Baadaye kisiwa hicho kilipewa jina na Waholanzi, 'Kisiwa cha Oyster.' Akiolojia ilipatikana mnamo 1985 wakati marejesho yalitokea katika Kisiwa cha Ellis kwamba mifupa ya bata, mifupa ya kasa na mifupa ya kulungu ilipatikana ikiwapa watafiti wazo wazi la chakula kilichopatikana kati ya Uhuru na Kisiwa cha Ellis.
Mnamo 1624, Waholanzi waliunda kituo cha biashara ya manyoya. Mwaka 1664 Waingereza walikuja na kubadilisha jina la 'Uholanzi Mpya' iliyokuwa 'New York.' Ndani ya miaka mia moja iliyofuata, kisiwa hicho kingepitia majina kadhaa na mwaka 1774 kisiwa kilinunuliwa na Samuel Ellis. Baada ya kifo cha Samuel Ellis, Jimbo la New York lilinunua kisiwa hicho na kukifanya kimilikiwe rasmi na serikali.
