O exército transferiu Alcatraz para o Gabinete Civil das Prisões (BOP) em 1934. O BOP rapidamente converteu a prisão militar envelhecida numa prisão civil de máxima segurança, de última geração. Alcatraz tornar-se-ia em breve a prisão federal mais famosa da história dos Estados Unidos.
Alcatraz foi concebida para servir como a primeira penitenciária de máxima segurança e mínimo privilégio da América, o que hoje é referido como uma instituição "super máxima". De 1934 a 1963, Alcatraz acolheu alguns dos mais notórios infractores da América, artistas de fuga, líderes de gangues e criadores de problemas gerais. Foram mantidos sob as condições mais seguras e regulamentadas, no ambiente praticamente à prova de fuga, numa ilha rochosa no meio da baía de São Francisco. Para os homens enviados para lá, Alcatraz foi o fim da linha.

Alcatraz foi por vezes chamada "prisão dentro do sistema prisional", uma vez que os únicos reclusos enviados para lá foram transferidos de outras prisões federais. Os tribunais não podiam condenar ninguém a Alcatraz. Em vez disso, "The Rock" foi para onde o BOP enviou os seus prisioneiros mais problemáticos até ser decidido que poderiam ser devolvidos em segurança a uma instituição de segurança inferior. Uma estadia média era de cinco anos.

Durante o período em que a Penitenciária Federal funcionou, 36 prisioneiros estiveram envolvidos em 14 tentativas de fuga separadas. Vinte e três homens foram apanhados, seis foram baleados e mortos, e dois afogaram-se. Cinco condenados desapareceram e nunca mais foram vistos, mas a grande probabilidade é que se tenham afogado e que os seus corpos nunca tenham sido recuperados.

No início de 1963, o Procurador-Geral Robert Kennedy ordenou o encerramento da Penitenciária de Alcatraz citando o aumento dos custos de manutenção e operacionais. Os últimos condenados foram retirados da ilha a 21 de Março de 1963. Quando a Ilha fechou, foi substituída por uma nova prisão federal de segurança máxima em Marion, Illinois.

Actualmente, a instituição "super max" do governo está localizada em Florença, Colorado. O seu apelido não oficial é "Alcatraz of the Rockies".

Para mais informações sobre a Penitenciária dos EUA em Alcatraz visite o website oficial do Bureau of Prisons no BOP Alcatraz history.