L'esercito trasferì Alcatraz al Bureau of Prisons (BOP) civile nel 1934. Il BOP convertì rapidamente la vecchia prigione militare in un penitenziario civile di massima sicurezza e all'avanguardia. In breve tempo Alcatraz sarebbe diventata la prigione federale più famosa della storia degli Stati Uniti.
Alcatraz è stato progettato per essere il primo penitenziario americano di massima sicurezza e di minimo privilegio, quello che oggi viene definito un istituto "super max". Dal 1934 al 1963, Alcatraz ha ospitato alcuni dei più noti criminali americani, artisti della fuga, capi di bande e in generale persone che creano problemi. Erano detenuti in condizioni di massima sicurezza e regolarità, in un ambiente praticamente a prova di fuga su un'isola rocciosa nel mezzo della baia di San Francisco. Per gli uomini inviati lì, Alcatraz era il capolinea.

Alcatraz è stata talvolta definita la "prigione all'interno del sistema carcerario", in quanto gli unici detenuti che vi venivano inviati erano trasferiti da altre prigioni federali. I tribunali non potevano condannare nessuno ad Alcatraz. Invece, "The Rock" era il luogo in cui il BOP inviava i detenuti più problematici fino a quando non si decideva che potevano essere riportati in sicurezza in un istituto di minore sicurezza. La permanenza media era di cinque anni.

Durante il periodo di funzionamento del penitenziario federale, 36 prigionieri furono coinvolti in 14 distinti tentativi di fuga. Ventitré uomini furono catturati, sei furono uccisi con un colpo di pistola e due annegarono. Cinque detenuti scomparvero e non furono mai più visti, ma è molto probabile che siano annegati e che i loro corpi non siano mai stati recuperati.

All'inizio del 1963, il procuratore generale Robert Kennedy ordinò la chiusura del penitenziario di Alcatraz, citando i crescenti costi di manutenzione e di funzionamento. Gli ultimi detenuti furono portati via dall'isola il 21 marzo 1963. Quando l'isola chiuse, fu sostituita da un nuovo carcere federale di massima sicurezza a Marion, nell'Illinois.

Oggi, l'istituto "super massimo" del governo si trova a Florence, in Colorado. Il suo soprannome non ufficiale è "Alcatraz delle Montagne Rocciose".

Per ulteriori informazioni sul penitenziario statunitense di Alcatraz, consultare il sito ufficiale del Bureau of Prisons: BOP Alcatraz history.