Alle kender den berømte Frihedsgudinde, men ikke så mange kender øen og historien bag det amerikanske vidunder.Øen har fået forskellige ejerskaber og navne, herunder "Oyster Island", "Love Island", "Bedlow Island" og "Kennedy Island".
Øens historie går flere hundrede år tilbage i tiden fra 1664 til 1876, hvor øen fik navnet "Oyster Island". Øen var hjemsted for indianere, som gav øen navnet på grund af antallet af havkrebsdyr, især østers, der fandtes langs kysten af de klipper, der omgav øen. Øen blev senere i procession af New Netherland fra hollænderne og omdøbte den kort efter til New York. I 1667 overtog Issac Bedloe, en handelsmand og kolonist, ejerskabet af øen. Da oberst Francis Lovelace overtog ejerskabet af øen, stillede han en betingelse om, at øen skulle hedde Love Island. Da englænderne vandt kontrollen med New York, blev øen omdøbt til "Bedloe Island". I nyere historiebøger kan man finde tre forskellige stavemåder for hans navn. Øen blev senere solgt, efter at hans enke gik konkurs og solgte den til Adolphe Phillipse og Henry Lane. Senere overtog byen New York kontrollen og brugte øen til at huse patienter med sygdomme.
I 1759 købte New Yorks byselskab øen og brugte den til udlejning i de næste par år. I 1876 blev øen senere solgt til Archibald Kennedy, som brugte øen som sommerhus. I denne periode beordrede staten New York, at øen skulle bruges til at holde øje med fjender, der muligvis nærmede sig New York, Connecticut og New Jersey. Kennedy fik ordre til at bruge øen som en station for at tage imod dem, der frygtede at være bærere af kopper.
Liberty Island har været ejet af staten siden 1801. Mange spørger ofte, om Frihedsgudinden ligger i New York eller i New Jersey ved Hudson-floden og den øvre del af New York-bugten. Frihedsgudinden er både et symbol i New York og New Jersey.