עם כל בניין יש עבר. לפני הקמתו המחודשת של אליס איילנד, האי נכבש בעבר על ידי שבטים אינדיאנים הידועים בשם שבט אלגונקווין שהיה ממוקם באזור הצפון-מזרחי של צפון אמריקה. נאמר כי השבט האינדיאני נהר לאי מכיוון שהאי היה ביתם של צדפות טריות, רכיכות, דגי סנפיר ובס מפוספסים כולם מקור לאספקת מזון. מאוחר יותר קיבל האי את השם על ידי ההולנדים, "אויסטר איילנד". ארכיאולוגיה שמקורה בשנת 1985 כאשר השיקום התרחש על אליס איילנד כי עצמות ברווז, עצמות צבי ועצמות צבי נמצאו נותן לחוקרים מושג ברור יותר של הדיאטה שנמצאה בין ליברטי ואליס איילנד.
בשנת 1624, ההולנדים הקימו תחנת מסחר בפרוות. בשנת 1664, האנגלים הגיעו ושינו את שמה של הולנד החדשה לשעבר ל"ניו יורק". בתוך מאה השנים הבאות, האי יעבור על מספר שמות ובשנת 1774 האי נרכש על ידי סמואל אליס. לאחר מותו של סמואל אליס, מדינת ניו יורק רכשה את האי מה שהופך אותו רשמית בבעלות ממשלתית.
