Teste cego mostra que classificador de domínios deixa de fora muitos nomes do tipo operador
em linguagem simples
Algumas ferramentas de computador separam nomes de sites em grupos com base na aparência deles. Um novo teste verificou uma dessas ferramentas com rótulos feitos por pessoas que não viram as respostas dela. A ferramenta acertou com frequência quando escolheu um grupo, mas deixou de fora muitos nomes que pertenciam a ele.
Resumo completo
Mohd Hashim, fundador da DomainGemsAI, publicou uma validação cega de um método de classificação usado em seus artigos anteriores na CircleID Plataforma de publicação on-line sobre infraestrutura da internet e políticas de domínios, lançada em 2002. Definição completa de CircleID sobre espaço de nomes Conjunto de todos os nomes de um sistema de nomes, como o DNS. Definição completa de espaço de nomes de domínio. O método separa os registro O banco de dados e o sistema centrais de um domínio de topo ou, em sentido mais amplo, a organização que os opera. Definição completa de registro em três categorias: alinhados a operador, padrão de investidor e neutros. Essas categorias descrevem padrões visíveis na própria string do domínio, e não a intenção verificada do titular A pessoa ou organização que detém o registro de um nome de domínio. Definição completa de titular do registro, a propriedade ou o uso efetivo.
O classificador foi congelado e testado com uma amostra de 340 domínios extraída de um único espaço de nomes. A amostra foi montada para cobrir diferentes categorias previstas e padrões de nomes, junto com um subconjunto aleatório, e serviu para examinar o comportamento em diferentes tipos de nome, e não para estimar a precisão de todo o espaço de nomes. Os rótulo Cada parte de um nome de domínio separada por pontos, com até 63 caracteres. Definição completa de rótulo de referência foram produzidos separadamente, sem acesso às previsões do classificador, e depois revisados e arbitrados. A rotulagem foi assistida por IA e revisada por humanos, e não produzida por especialistas independentes em domínios; o autor diz que o fato de os rótulos terem sido feitos às cegas em relação ao classificador não os torna uma verdade de referência estabelecida de forma independente.
Na categoria padrão de investidor, a precisão e a cobertura em relação aos rótulos de referência ficaram acima de 90%. Para os nomes alinhados a operador, a precisão foi de 91,5%, o que significa que a maioria dos nomes que o classificador colocou ali concordou com os rótulos de referência. Já a cobertura foi de 58,1%, o que significa que o classificador identificou apenas cerca de 58% dos nomes que a revisão de referência colocou nessa categoria.
Alguns nomes que o classificador colocou na categoria neutra receberam uma categoria mais específica durante a revisão de referência. O autor diz que este teste não estabelece o tamanho correto desse grupo, mas mostra que os números de composição dos artigos anteriores não devem ser tratados como definitivos. Os casos não identificados se distribuíram por vários padrões de nomes recorrentes. Segundo o autor, a validação atual não mostra quais mudanças melhorariam o desempenho sem introduzir novos erros.
Os números de composição dos textos anteriores vieram de uma versão anterior do método. O autor afirma que esta validação posterior identificou limitações que também poderiam valer para aquela versão e considera provisórios os percentuais publicados antes.