すべての建物には、過去がある。エリス島が再興される以前、この島には北米北東部に住んでいたアルゴンキン族と呼ばれるアメリカ先住民が住んでいたことがある。この島には、新鮮な牡蠣や貝類、魚類、シマスズキなどが生息していたため、ネイティブアメリカンの部族はこの島に集まってきたと言われている。その後、オランダ人がこの島を「オイスター・アイランド」と呼ぶようになった。1985年にエリス島が修復された際、アヒルの骨、亀の骨、鹿の骨が発見され、リバティとエリス島の間にあった食生活について研究者がより明確な考えを持つようになったことが考古学上判明した。
1624年、オランダは毛皮の交易所を作った。1664年、イギリス人がやってきて、かつての「ニューオランダ」を「ニューヨーク」と改名した。その後100年の間に、島はいくつもの名前を変え、1774年にサミュエル・エリスが島を購入した。サミュエル・エリスの死後、ニューヨーク州がこの島を購入し、正式に国有地となった。
