每座建筑都有一个过去。在重新建立埃利斯岛之前，该岛曾经被位于北美东北部地区的美国原住民部落称为阿尔冈昆部落所占据。据说美洲原住民部落涌向该岛，因为该岛是新鲜牡蛎、贝类、鳍鱼和带鱼的家园，是食物供应的来源。该岛后来被荷兰人命名为 "牡蛎岛"。考古学界在1985年对埃利斯岛进行修复时，发现了鸭子的骨头、乌龟的骨头和鹿的骨头，使研究人员对在自由岛和埃利斯岛之间发现的饮食有了更清楚的认识。

1624年，荷兰人创建了一个毛皮贸易站。1664年，英国人来到这里，将曾经的 "新荷兰 "重新命名为 "纽约"。在接下来的一百年里，该岛经历了许多名字，1774年，该岛被塞缪尔-埃利斯购买。塞缪尔-埃利斯死后，纽约州购买了该岛，使其正式成为政府所有。