Entretanto, a supremacia da “Rainha da Costa Verde” já estava de muito ameaçada. Em 1820, fora inaugurada a Estrada da Policia, que ligava o Vale do Paraíba diretamente ao Rio de Janeiro, melhorando de muito o acesso às fazendas de café. Em 1840, a abertura da Estrada do Comércio facilitava ainda mais este acesso. Efeito idêntico ocorreu quando da abertura da nova Estrada União e Industria, em 1861. Assim, pouco a pouco, de vinte em vinte anos, a abertura de uma nova estrada diminuía o fluxo de café para o porto de Angra. A inauguração da linha ferroviária pela Serra do Mar em 1866 representou o mais rude golpe para a economia angrense, que não tinha como competir com os custos do transporte cafeeiro. A proibição do tráfico de escravos em 1850 já havia embaraçado de muito a economia local, haja vista que tanto Angra quanto Paraty auferiam grandes lucros do tráfico negreiro. O contrabando pelo porto de Bracuí foi severamente reprimido até 1856, quando se verificou uma última apreensão. Um projeto de 1884 para criação de um ramal ferroviário ligando Pirai até o porto de Angra dos Reis esbarrou em falta de verbas. Em 1890, outro audacioso projeto, este de uma ligação ferroviária pelo litoral, do Centro do Rio de Janeiro até Angra dos Reis foi igualmente abandonado quando da crise econômica do Encilhamento (1891).
A Abolição da Escravatura em 1888 representou o golpe final na já combalida economia angrense, que levou à desativação do porto, passando todo o transporte cafeeiro para o de Santos, o que levou Angra dos Reis a uma estagnação total. Caíram em ruínas trapiches e sobrados, também se arruinando o portentoso Convento de São Bernardino do Sena, datado de meados do século XVIII e um dos maiores cenóbios franciscanos da Província.