Parken ligger på den sydligste spids af Manhattan Island og vender ud mod New Yorks havn og har fået sit navn efter det antal artilleribatterier, der engang var placeret for at beskytte bygden. Castle Clinton blev bygget som en forberedelse til krigen i 1812. I årene 1855 - 1890 blev slottet brugt som den første immigrationsstation, hvor mere end 8 millioner immigranter ankom og blev passeret gennem dørene. Castle Clinton tjente også mange andre formål og ikke kun som immigrationscenter, men også som New York City Aquarium, der på et tidspunkt så mere end 5.000 mennesker om dagen. Da akvariet lukkede sine døre i Battery Park og flyttede til Coney Island, blev slottet restaureret af National Park Service (NPS). Det blev senere genåbnet for offentligheden i 1975.
I dag er Castle Clinton National Monument hjemsted for billetkontoret for Statue City Cruises.