Corria o ano de 1884. Sobrevindo com fúria na Espanha e Itália a terrível Cólera Morbo, no intuito de evitar que esse mal fizesse sua entrada no Brasil, tratou o Gabinete de 06 de julho de mandar construir um lazareto para seus devidos fins. Apesar do que o nome possa vir a sugerir, não era o prédio destinado aos doentes do mal de Hansen, mas sim um prédio de isolamento para imigrantes, com todo o conforto e serviços, além de, é claro, atendimento médico especializado e isolamento.
A Comissão nomeada para escolher o local para construir-se o lazareto, indicou a Fazenda do Holandês, situada na ridente Baía do Abraão. Embora a Câmara Municipal de Angra dos Reis houvesse representado contra essa indicação, sem embargo disso, determinou o Governo Imperial que as obras fossem principiadas, comprando a referida Fazenda e mandando materiais e operários. Foi encarregado dessa importante obra o engenheiro Doutor Francisco de Paula Freitas, tendo como ajudante o Doutor Henrique Álvares da Fonseca.
Este magnífico edifício foi utilizado como local de quarentena por todo o período imperial, caindo em decadência com a Proclamação da República, por ter sido construída instalação mais próxima da capital, na Ilha das Flores, já na própria Baía de Guanabara. Em 1926, após deixar de ser usado para a finalidade para a qual fora construído, passou a ser usado como cadeia, sendo nele instalada a Colônia Penal Cândido Mendes, do Ministério da Justiça e Negócios Interiores.