हर इमारत के साथ एक अतीत होता है। एलिस द्वीप की फिर से स्थापना से पहले द्वीप पर एक बार मूल अमेरिकी जनजातियों द्वारा कब्जा कर लिया गया था जिसे अल्गोनक्विन जनजाति के रूप में जाना जाता था जो उत्तरी अमेरिका के पूर्वोत्तर क्षेत्र में स्थित था। यह कहा गया था कि मूल अमेरिकी जनजाति द्वीप पर आ गई क्योंकि द्वीप ताजा सीप, शेलफिश, फिन मछली और धारीदार बास के लिए घर था, जो सभी खाद्य आपूर्ति का एक स्रोत था। द्वीप को बाद में डच द्वारा नाम दिया गया था, 'ऑयस्टर द्वीप।' पुरातत्व 1 9 85 में जब एलिस द्वीप पर बहाली हुई थी कि बतख की हड्डियां, कछुए की हड्डियां और हिरण की हड्डियां शोधकर्ताओं को लिबर्टी और एलिस द्वीप के बीच पाए जाने वाले आहार का एक स्पष्ट विचार देती हैं।
1624 में, डच ने एक फर ट्रेडिंग स्टेशन बनाया। 1664 में, अंग्रेजों ने साथ आए और एक बार 'न्यू नीदरलैंड्स' का नाम बदलकर 'न्यूयॉर्क' कर दिया। अगले एक सौ वर्षों के भीतर, द्वीप कई नामों से गुजरेगा और 1774 में द्वीप को सैमुअल एलिस द्वारा खरीदा गया था। सैमुअल एलिस की मृत्यु के बाद, न्यूयॉर्क राज्य ने द्वीप को आधिकारिक तौर पर सरकार के स्वामित्व में बनाते हुए खरीदा।