Como se implementa um bom filtro de profanação?

Existe uma razão e uma necessidade distinta de filtros de profanação (ver A entrada na Wikipédia aqui ), mas muitas vezes não são 100% precisos por razões muito distintas; contexto e Precisão.

O Conteúdo Gerado pelo Utilizador não contém apenas palavras de palavrões potenciais, Pode também conter referências ofensivas a:

• actos sexuais
• orientação Sexual
Religião
• etnia
• Etc...

E potencialmente, em várias línguas. O Shutterstock desenvolveu listas básicas de Palavras sujas {[[5]} em 10 línguas até à data, mas ainda é básico e muito orientado para as suas necessidades de 'tagging'. Há uma série de outras listas disponíveis na web.

Concordo com a resposta aceite que não é uma ciência definida e Como a linguagem é um desafio em constante evolução mas um desafio em que uma taxa de captura de 90% é melhor do que 0%. Depende puramente de seus objetivos - o que você está tentando alcançar, o nível de apoio que você tem e como é importante remover profanidades de diferentes tipos.

Ao construir um filtro, você precisa considerar os seguintes elementos e como eles se relacionam com o seu projecto:

• palavras / frases
• acrónimos (FOAD / LMFAO etc)
• falsos positivos (palavras, lugares e nomes como 'mishit', 'scunthorpe' e 'titsworth')
URLs (sites pornográficos são um alvo óbvio) Pessoal informações (e - mail, endereço, telefone, etc-se aplicável)
• escolha da língua (normalmente Inglês por omissão)
• moderação (como, se de todo, você pode interagir com o Conteúdo Gerado pelo Usuário e o que você pode fazer com ele)

Um filtro básico envolveria:

• elaborar uma lista das profissões aplicáveis
([18]}desenvolver um método para lidar com derivações de profanidades

Um filtro moderadamente complexo envolveria, (além de um filtro básico):

• usando padrões complexos para lidar com derivações alargadas (usando a expressão regular avançada)
Negociação com Leetspeak (l33t)
• lidar com falsos positivos

Um filtro complexo envolveria um número dos seguintes (além de um filtro moderado):

• listas brancas e listas negras
• ingénua Inferência Bayesiana filtragem de frases / Termos
• funções Soundex (onde uma palavra soa como outra)
• Levenshtein distância
• Steming
• moderadores humanos para ajudar a guiar um motor de filtragem para aprender por exemplo ou onde os fósforos não são precisos o suficiente sem orientação (um sistema de auto/melhoria contínua)
Talvez algum tipo de motor ia.

De alguma forma, eu ainda recebi a oferta de trabalho, mas então eu rastreei uma lista de palavras de profanidade (não ao contrário deste ) e escrevi um script rápido para gerar um novo dicionário sem todos os as palavras ruins (sem sequer ter que olhar para a lista).

Para o seu caso particular, acho que comparar a pesquisa com palavras reais soa como o caminho a seguir com uma lista de palavras como essa. Os estilos alternativos / pontuação requerem um pouco mais de trabalho, mas eu duvido que os usuários vão usar isso muitas vezes o suficiente para ser um problema.

Dito isto, qualquer lista de 'palavras malandras' é provável que funcione bem como qualquer outra lista, uma vez que o problema subjacente é compreensão da linguagem que é praticamente intratável com a tecnologia actual

Então, a única solução prática é dupla:

1. esteja preparado para actualizar o seu dicionário frequentemente
2. contratar um editor humano para corrigir falsos positivos (por exemplo, "clbuttic" em vez de "classic") e falsos negativos (oops! falhou um!)

Dá uma vista de olhos ao serviço Web de Filtragem de palavrões da CDYNE

A testar o URL

A única maneira de prevenir a entrada ofensiva do utilizador é impedir toda a entrada do utilizador.

Se você insiste em permitir a entrada do Usuário e precisa de moderação, então incorporar moderadores humanos.

O maior desafio é encontrar algo que permita às pessoas citarem "a caneta é mais poderosa que a espada" enquanto bloqueia "P E n i s".

Cuidado com as questões de localização: o que é uma palavra de ordem numa língua pode ser uma palavra perfeitamente normal noutra.

Um exemplo actual disto: o ebay usa uma abordagem de dicionário para filtrar "palavras más" do feedback. Se você tentar entrar na tradução alemã de" this was a perfect transaction "("das war eine perfekte Transaktion"), o ebay vai rejeitar o feedback devido a palavras ruins.

Se você pode fazer algo como Digg/Stackoverflow onde os usuários podem baixar / marcar conteúdo obsceno... fazer.

Então tudo que você precisa fazer é rever os usuários "naughty", e bloqueá-los se eles quebrarem as regras.

Revelação completa, eu escrevi este plugin...

O conceito é um simples plugin jquery que é injectado pelo servidor se a conta do cliente estiver a activar a filtragem de palavrões. A partir daí, são apenas algumas linhas simples que apagam os palavrões.

<div id="foo">
    ass will fail but password will not
</div>

<script>
    // code:
    $('#foo').profanityFilter({
        customSwears: ['ass']
    });
</script>

Resultado

** * vai falhar mas a senha não vai

$errors = array();  //Initialize error array (I use this with all my PHP form validations)

$SCREENNAME = mysql_real_escape_string($_POST['SCREENNAME']); //Escape the input data to prevent SQL injection when you query the profanity table.

$ProfanityCheckString = strtoupper($SCREENNAME); //Make the input string uppercase (so that 'BaDwOrD' is the same as 'BADWORD').  All your values in the profanity table will need to be UPPERCASE for this to work.

$ProfanityCheckString = preg_replace('/[_-]/','',$ProfanityCheckString); //I allow alphanumeric, underscores, and dashes...nothing else (I control this with PHP form validation).  Pull out non-alphanumeric characters so 'B-A-D-W-O-R-D' shows up as 'BADWORD'.

$ProfanityCheckString = preg_replace('/1/','I',$ProfanityCheckString); //Replace common numeric representations of letters so '84DW0RD' shows up as 'BADWORD'.

$ProfanityCheckString = preg_replace('/3/','E',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/4/','A',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/5/','S',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/6/','G',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/7/','T',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/8/','B',$ProfanityCheckString);

$ProfanityCheckString = preg_replace('/0/','O',$ProfanityCheckString); //Replace ZERO's with O's (Capital letter o's).

$ProfanityCheckString = preg_replace('/Z/','S',$ProfanityCheckString); //Replace Z's with S's, another common substitution.  Make sure you replace Z's with S's in your profanity database for this to work properly.  Same with all the numbers too--having S3X7 in your database won't work, since this code would render that string as 'SEXY'.  The profanity table should have the "rendered" version of the bad words.

$CheckProfanity = mysql_query("SELECT * FROM DATABASE.TABLE p WHERE p.WORD = '".$ProfanityCheckString."'");
if(mysql_num_rows($CheckProfanity) > 0) {$errors[] = 'Please select another Screen Name.';} //Check your profanity table for the scrubbed input.  You could get real crazy using LIKE and wildcards, but I only want a simple profanity filter.

if (count($errors) > 0) {foreach($errors as $error) {$errorString .= "<span class='PHPError'>$error</span><br /><br />";} echo $errorString;} //Echo any PHP errors that come out of the validation, including any profanity flagging.


//You can also use these lines to troubleshoot.
//echo $ProfanityCheckString;
//echo "<br />";
//echo mysql_error();
//echo "<br />";

Eu também teria muito cuidado se você quiser usar wildcards, uma vez que às vezes eles podem se comportar mais onerously do que você pretende.

Reuni 2200 palavras más em 12 línguas: en, ar, cs, da, de, eo, es, fa, fi, fr, hi, hu, it, ja, ko, nl, no, pl, pt, ru, sv, th, tlh, tr, zh.

As opções MySQL dump, JSON, XML ou CSV estão disponíveis.

Https://github.com/turalus/openDB

O que eu faria era implementar um filtro regex como este: {[[0]} ou a palavra é prefixada nos outros, /[\s]doob(er|ed|est)[\s]/. Isso evitaria filtrar palavras como suavaged, o que é perfeitamente válido, mas também exigiria conhecimento das outras variantes e atualização do filtro real se você aprender um novo. Obviamente estes são todos exemplos, mas você tens de decidir como fazê-lo sozinho.

Boxwood é uma extensão PHP para substituição rápida de várias palavras em um pedaço de texto. Suporta correspondências sensíveis a maiúsculas e minúsculas. Requer que o texto que opera seja codificado como UTF-8.

Veja Também este post no blog para mais detalhes:

• substituição rápida de cadeias múltiplas em PHP

Com Boxwood, você pode ter a sua lista de termos de pesquisa o tempo que quiser -- o algoritmo de pesquisa e substituição não fica mais lento com mais palavras na lista de palavras a procurar. Ele funciona através da construção de uma trie de todos os Termos de busca e, em seguida, varre o seu texto assunto apenas uma vez, caminhando por elementos da trie e comparando-os com personagens em seu texto. Ele suporta US-ASCII e UTF-8, correspondência sensível a maiúsculas ou insensível, e tem alguma verificação de limites de palavras centrada em inglês logico.

1. The filter: a background service that verify against a blacklist, dictionary or something like that.
2. não permitir uma conta anónima
3. Denunciar abuso

Porque:

• Clbuttic
Profanação não é maldade OMG.
• a profanação não pode ser definida de forma eficaz
A maioria das pessoas provavelmente não gosta de ser "protegida" de profanação.

Edit: embora eu concorde com o comentarista que disse "censura é errado", essa não é a natureza desta resposta.

Filtros de palavrões são uma má ideia.A razão é que não consegues apanhar todas as palavrinhas. Se tentares, ficas com falsos positivos.

Apanhar Palavras

Pode-se tentar verificar se existem várias grafias e variantes da palavra, mas isso irá abranda o desempenho do teu código. Para pegar a palavra-F, você precisa procurar por "fuc", "Fuc", "fuk"," Fuk", " F***", etc. E a lista continua.

E há um monte de palavras que você tem que excluir do filtro, como "Constit, porque há" tit "nele.

As pessoas também podem usar palavras substitutas, como " Frack."Também bloqueias isso? E que tal "caneta" para "pénis"? O seu programa não tem inteligência artificial para saber se a corda é boa ou má.

Não uses filtros de palavrões. São difíceis de desenvolver., e são lentos como um rastejar.