Với mỗi tòa nhà đều có một quá khứ. Trước khi tái lập đảo Ellis, hòn đảo đã từng bị chiếm đóng bởi các bộ lạc người Mỹ bản địa được gọi là Bộ lạc Algonquin nằm ở khu vực đông bắc Bắc Mỹ. Người ta nói rằng bộ lạc người Mỹ bản địa đổ xô đến hòn đảo vì hòn đảo này là nơi có hàu tươi, động vật có vỏ, cá vây và cá vược sọc tất cả một nguồn cung cấp thực phẩm. Hòn đảo sau đó được người Hà Lan đặt tên là "Đảo Hàu". Khảo cổ học có nguồn gốc từ năm 1985 khi sự phục hồi xảy ra trên đảo Ellis rằng xương vịt, xương rùa và xương hươu đã được tìm thấy cho các nhà nghiên cứu một ý tưởng rõ ràng hơn về chế độ ăn uống được tìm thấy giữa Liberty và Đảo Ellis.
Năm 1624, người Hà Lan đã tạo ra một trạm buôn bán lông thú. Năm 1664, người Anh xuất hiện và đổi tên thành "New Netherlands" một thời thành "New York". Trong vòng một trăm năm tiếp theo, hòn đảo sẽ trải qua một số tên và vào năm 1774, hòn đảo đã được Samuel Ellis mua lại. Sau cái chết của Samuel Ellis, tiểu bang New York đã mua hòn đảo làm cho nó chính thức thuộc sở hữu của chính phủ.
