Remover marcas diacríticas Unicode de um texto

Letras acentuadas como é, ñ e ü passam para suas formas básicas, enquanto pontuação, espaços, símbolos, maiúsculas e minúsculas e sistemas de escrita não relacionados permanecem intactos. O resultado é útil quando um índice de busca, identificador, nome de arquivo ou slug precisa de uma representação sem distinção de acentos, sem aplicar transliteração ampla nem regras ortográficas específicas de um idioma. O processamento é determinístico, fica restrito à solicitação e devolve um texto simples que você pode copiar ou encaminhar diretamente para outra etapa de normalização.

O que a transformação faz

O Unicode pode representar muitas letras acentuadas de mais de uma maneira. Um caractere como é pode ser armazenado como um único ponto de código precomposto ou como a letra básica e seguida por um acento agudo combinante. A comparação visual não revela qual representação está presente. Esta capacidade primeiro aplica a decomposição canônica Unicode, normalmente chamada de NFD, para expressar os caracteres que têm decomposição canônica como caracteres básicos seguidos por suas marcas. Em seguida, remove caracteres de todas as categorias de marcas Unicode. Assim, exemplos como café, piñata e Ångström viram cafe, pinata e Angstrom. A ferramenta não converte o texto em minúsculas, não reduz espaços, não remove pontuação nem substitui símbolos. Também não promete transliteração completa para ASCII: letras sem decomposição canônica, como ł, continuam iguais. Esse comportamento restrito é intencional. Ele oferece a você uma operação de normalização previsível, que pode ser combinada com regras separadas de minúsculas, pontuação ou formatação de slugs sem esconder transformações adicionais dentro de uma única operação.

Como criar chaves de busca e slugs estáveis

A busca sem distinção de acentos costuma funcionar melhor quando o valor original e uma chave normalizada são armazenados separadamente. Preserve a grafia original para exibição e envie o texto a esta capacidade para produzir um campo de comparação. Uma consulta pode receber o mesmo tratamento antes da correspondência, permitindo que uma pessoa que digite cafe encontre café sem perder a forma corretamente acentuada exibida nos resultados. Fluxos de geração de slugs podem usar a saída como uma etapa inicial: remova primeiro as marcas, depois aplique minúsculas, substitua espaços e execute a política de pontuação do seu projeto. A ordem importa porque a decomposição expõe marcas que, de outro modo, continuariam ligadas às letras precompostas. A operação é determinística, portanto uma entrada Unicode idêntica sempre produz a mesma saída e pode ser usada com segurança em chaves de cache ou na preparação repetível de dados. Entretanto, normalização não substitui ordenação sensível ao idioma. Os idiomas divergem sobre considerar letras acentuadas variantes ou letras distintas; mantenha o texto original e escolha a comparação sem acentos somente quando isso for adequado ao produto e aos usuários.

Limites, sistemas de escrita e verificação

A regra de remoção abrange marcas combinantes em todo o Unicode, e não apenas a faixa conhecida de acentos usada em idiomas da Europa Ocidental. Isso traz consistência técnica, mas o efeito pode ser significativo em sistemas de escrita nos quais as marcas carregam informações essenciais. Teste conteúdo representativo de cada idioma aceito pelo seu aplicativo antes de aplicar o resultado a buscas, rotas ou campos de identidade. Seletores de variação de emoji e outros caracteres classificados como marcas também podem ser removidos; por isso, trate a saída como uma chave normalizada, não como uma cópia perfeita para exibição. A decomposição canônica é deliberadamente diferente da decomposição de compatibilidade: formas decorativas ou de compatibilidade não são simplificadas de modo geral, e a ferramenta não tenta ser um transliterador universal. Para verificar, compare as grafias precomposta e decomposta da mesma amostra e confirme que os resultados coincidem. Inclua também pontuação, textos não latinos, emojis e letras sem decomposição nos testes. Esses casos mostram se esta operação focada é suficiente ou se o seu fluxo exige outras etapas de normalização escolhidas explicitamente.