مع كل مبنى هناك ماض. قبل إعادة إنشاء جزيرة إليس ، كانت الجزيرة محتلة من قبل قبائل الأمريكيين الأصليين المعروفة باسم قبيلة ألجونكوين التي كانت تقع في المنطقة الشمالية الشرقية من أمريكا الشمالية. قيل أن قبيلة الأمريكيين الأصليين توافدوا على الجزيرة لأن الجزيرة كانت موطنا للمحار الطازج والمحار والأسماك الزعنفية والباس المخطط وكلها مصدر للإمدادات الغذائية. أعطيت الجزيرة في وقت لاحق اسم من قبل الهولنديين ، "جزيرة المحار". تم الحصول على علم الآثار في عام 1985 عندما حدث الترميم في جزيرة إليس حيث تم العثور على عظام البط وعظام السلاحف وعظام الغزلان مما أعطى الباحثين فكرة أوضح عن النظام الغذائي الموجود بين ليبرتي وجزيرة إليس.
في عام 1624 ، أنشأ الهولنديون محطة لتجارة الفراء. في عام 1664 ، جاء الإنجليز وأعادوا تسمية "هولندا الجديدة" إلى "نيويورك". في غضون المائة عام التالية ، مرت الجزيرة بعدد من الأسماء وفي عام 1774 تم شراء الجزيرة من قبل صموئيل إليس. بعد وفاة صموئيل إليس ، اشترت ولاية نيويورك الجزيرة مما جعلها مملوكة للحكومة رسميا.