Het leger droeg Alcatraz in 1934 over aan de civiele Bureau of Prisons (BOP). De BOP veranderde de verouderde militaire gevangenis snel in een maximaal beveiligde, ultramoderne civiele gevangenis. Alcatraz zou spoedig de beroemdste federale gevangenis in de geschiedenis van de Verenigde Staten worden.
Alcatraz werd ontworpen als Amerika's eerste maximaal beveiligde, minimaal geprivilegieerde gevangenis, wat tegenwoordig een "super max" instelling wordt genoemd. Van 1934 tot 1963 herbergde Alcatraz enkele van Amerika's meest beruchte overtreders, ontsnappingskunstenaars, bendeleiders en algemene onruststokers. Ze werden vastgehouden onder de meest veilige en gereguleerde omstandigheden, in een vrijwel vluchtvrije omgeving op een rotsachtig eiland midden in de baai van San Francisco. Voor de mannen die erheen werden gestuurd, was Alcatraz het einde van de lijn.

Alcatraz werd soms de "gevangenis binnen het gevangenissysteem" genoemd, omdat de enige gevangenen die erheen werden gestuurd overgeplaatst werden uit andere federale gevangenissen. Rechtbanken konden niemand naar Alcatraz veroordelen. In plaats daarvan was "The Rock" de plaats waar de BOP haar meest problematische gevangenen naartoe stuurde, totdat besloten werd dat ze veilig teruggestuurd konden worden naar een lager beveiligde instelling. Een gemiddeld verblijf was vijf jaar.

In de periode dat de federale gevangenis in bedrijf was, waren 36 gevangenen betrokken bij 14 ontsnappingspogingen. Drieëntwintig mannen werden gepakt, zes werden doodgeschoten en twee verdronken. Vijf veroordeelden verdwenen en werden nooit meer gezien, maar de kans is groot dat ze verdronken zijn en dat hun lichamen nooit zijn teruggevonden.

Begin 1963 beval procureur-generaal Robert Kennedy de sluiting van Alcatraz Penitentiary wegens toenemende onderhouds- en operationele kosten. De laatste gevangenen werden op 21 maart 1963 van het eiland verwijderd. Toen het eiland werd gesloten, werd het vervangen door een nieuwe maximaal beveiligde federale gevangenis in Marion, Illinois.

Vandaag de dag staat de "super max" instelling van de regering in Florence, Colorado. De onofficiële bijnaam is "Alcatraz van de Rockies."

Ga voor meer informatie over de Amerikaanse gevangenis op Alcatraz naar de officiële website van het Bureau of Prisons: BOP Alcatraz history.