Het park ligt op het zuidelijkste puntje van Manhattan Island en kijkt uit op de haven van New York. Het park dankt zijn naam aan het aantal artilleriebatterijen dat ooit werd geplaatst om de nederzetting te beschermen. Castle Clinton werd gebouwd met het oog op de oorlog van 1812. Tussen 1855 en 1890 werd het kasteel gebruikt als de eerste immigratiepost waar meer dan 8 miljoen immigranten aankwamen en door de deuren gingen. Castle Clinton diende ook vele andere doelen en niet alleen als immigratiecentrum, maar ook als het New York City Aquarium dat op een gegeven moment meer dan 5.000 mensen per dag zag. Toen het aquarium zijn deuren in Battery Park sloot en naar Coney Island verhuisde, werd het kasteel gerestaureerd door de National Park Service (NPS). In 1975 werd het heropend voor het publiek.
Tegenwoordig dient Castle Clinton National Monument als loket voor de Statue City Cruises.