Nela estiveram presos, dentre outras personalidades, o escritor Graciliano Ramos (1936), preso pela polícia de Getúlio Vargas, sob acusação de comunismo. Neste prédio também esteve preso por décadas, depois se radicando em definitivo na ilha e lá sendo enterrado, o famoso travesti e transformista da Lapa “Madame Satã”, o negro e homossexual João Francisco dos Santos, nascido em 1900, e que foi muito cultuado no fim da vida, virando tema de filmes e ícone da contracultura até sua morte, de causas naturais, em 1976. Passou 26 anos encarcerado.
Quando da transferência da Capital da República para Brasília, foi o presídio transferido para o recém criado Estado da Guanabara (1960), tendo então o Governador Carlos Lacerda ordenado a quase total demolição do monumental edifício. Hoje dele só restam algumas esparsas ruínas.
Na sede da antiga Fazenda Dois Rios, outrora um grande centro cafeicultor, decaído em fins do século XIX, foi instalada nos anos cinqüenta uma sede da Colônia Agrícola do Distrito Federal. Foi depois transformada em 1961 numa Colônia Penal pertencente ao Estado da Guanabara. Durante o Regime Militar (1964/85) muitos presos políticos para lá foram transferidos, mesclados aos criminosos comuns. Dessa convivência de guerrilheiros bem treinados com assaltantes de rua surgiu uma terrível aliança, que resultou os meliantes passarem a ter treinamento militar dos guerrilheiros, levando depois essa experiência para o tráfico de drogas, com as nefastas conseqüências que até hoje sentimos. Desta Colônia Penal, em 1986, ocorreu a mais fantástica fuga de um meliante no Brasil, quando um comando fortemente armado e provido de moderno helicóptero conseguiu evadir por este meio o famoso traficante carioca José Carlos dos Reis Encina, o “Escadinha”, recapturado depois de muito trabalho.