Test in cieca: il classificatore di domini non individua molti nomi allineati agli operatori
in parole semplici
Alcuni strumenti informatici sistemano i nomi di siti web in gruppi in base al loro aspetto. Un nuovo test ha verificato uno di questi strumenti con etichette preparate da persone che non ne vedevano le risposte. Lo strumento spesso aveva ragione quando sceglieva un gruppo, ma ha mancato molti nomi che vi appartenevano.
Sintesi completa
Mohd Hashim, fondatore di DomainGemsAI, ha pubblicato una validazione in cieca di un metodo di classificazione usato nei suoi precedenti articoli su CircleID Piattaforma di pubblicazione online su infrastrutture internet e politiche dei domini, lanciata nel 2002. Definizione completa del termine CircleID sugli spazio dei nomi L'insieme di tutti i nomi di un sistema di denominazione, come il DNS. Definizione completa del termine spazio dei nomi di dominio. Il metodo suddivide le registrazione L'ottenimento del diritto di usare un nome a dominio per un periodo stabilito. Definizione completa del termine registrazione in tre categorie: Operator-aligned, Investor-pattern e Neutral. Queste categorie descrivono schemi visibili nella stessa stringa del nome a dominio Nome leggibile di internet, formato da etichette separate da punti. Definizione completa del termine nome a dominio, non l'intenzione verificata dell'assegnatario La persona o l'organizzazione che detiene la registrazione di un nome a dominio. Definizione completa del termine assegnatario, la proprietà o l'uso effettivo.
Il classificatore è stato congelato e testato su un campione di 340 domini tratto da un unico spazio dei nomi. Il campione è stato costruito per coprire diverse categorie previste e schemi di denominazione, insieme a un sottoinsieme casuale, ed è stato pensato per esaminare il comportamento su tipi di nome piuttosto che per stimare l'accuratezza sull'intero spazio dei nomi. Le etichetta Ciascuna parte di un nome a dominio separata da punti, lunga fino a 63 caratteri. Definizione completa del termine etichetta di riferimento sono state prodotte separatamente, senza accesso alle previsioni del classificatore, poi riviste e risolte. L'etichettatura è stata assistita dalla IA e verificata da persone, non prodotta da esperti indipendenti del settore; l'autore sostiene che la cecità rispetto al classificatore non rende le etichette una verità di riferimento stabilita in modo indipendente.
Per la categoria Investor-pattern, precisione e richiamo rispetto alle etichette di riferimento erano entrambi superiori al 90%. Per i nomi Operator-aligned, la precisione è stata del 91,5%, cioè la maggior parte dei nomi collocati lì dal classificatore corrispondeva alle etichette di riferimento, mentre il richiamo è stato del 58,1%, cioè il classificatore ha individuato solo circa il 58% dei nomi che la revisione di riferimento collocava in quella categoria.
Alcuni nomi che il classificatore ha inserito nella categoria Neutral sono stati assegnati a una categoria più specifica durante la revisione di riferimento. L'autore sostiene che questo test non stabilisce la dimensione corretta di quel gruppo, ma mostra che le percentuali di composizione dei precedenti articoli non dovrebbero essere considerate definitive. I casi mancati erano distribuiti su diversi schemi di denominazione ricorrente La parte che avvia una controversia su un dominio, di solito il titolare di un marchio. Definizione completa del termine ricorrente. L'autore afferma che la validazione attuale non mostra quali modifiche migliorerebbero le prestazioni senza introdurre nuovi errori.
Le percentuali di composizione dei pezzi precedenti derivavano da una versione anteriore del metodo. L'autore sostiene che questa validazione successiva ha individuato limiti che potrebbero valere anche per quella versione, e considera provvisorie le percentuali già pubblicate.