Test à l’aveugle : le classificateur de noms de domaine rate de nombreux noms liés aux opérateurs
en clair
Certains outils informatiques trient les noms de sites selon leur apparence. Un nouveau test a comparé l’un de ces outils à des étiquettes établies par des personnes qui ne voyaient pas ses réponses. L’outil avait souvent raison quand il choisissait une catégorie, mais il en a manqué beaucoup qui auraient dû y figurer.
Résumé complet
Mohd Hashim, fondateur de DomainGemsAI, a publié une validation à l’aveugle d’une méthode de classement utilisée dans ses articles précédents sur CircleID Plateforme de publication en ligne sur l'infrastructure d'Internet et les politiques des noms de domaine, lancée en 2002. Définition complète du terme CircleID, consacrés aux espace de noms Ensemble de tous les noms d'un même système de nommage, comme le DNS. Définition complète du terme espace de noms. La méthode répartit les enregistrement de domaine L'obtention du droit d'utiliser un nom de domaine pendant une durée déterminée. Définition complète du terme enregistrement de domaine en trois catégories : Operator-aligned, Investor-pattern et Neutral. Ces catégories décrivent des motifs visibles dans la chaîne du nom de domaine Nom lisible sur Internet, composé de libellés séparés par des points. Définition complète du terme nom de domaine elle-même, et non l’intention vérifiée du titulaire Personne ou organisation qui détient l'enregistrement d'un nom de domaine. Définition complète du terme titulaire, la propriété ou l’usage réel.
Le classificateur a été figé puis testé sur un échantillon de 340 domaines tiré d’un même espace de noms. Cet échantillon a été constitué pour couvrir différentes catégories prédites et plusieurs schémas de nommage, ainsi qu’un sous-ensemble aléatoire. Il vise à examiner le comportement selon les types de noms, et non à estimer la précision pour l’ensemble de l’espace de noms. Les étiquette Chaque partie d'un nom de domaine séparée par des points, d'au plus 63 caractères. Définition complète du terme étiquette de référence ont été produites séparément, sans accès aux prédictions du classificateur, puis relues et arbitrées. Le travail d’étiquetage a été assisté par IA et relu par des humains, et non produit par des experts indépendants du domaine ; l’auteur précise que cette aveuglement n’en fait pas une vérité de terrain établie de manière indépendante.
Pour la catégorie Investor-pattern, la précision et le rappel par rapport aux étiquettes de référence dépassent tous deux 90 %. Pour les noms Operator-aligned, la précision atteint 91,5 %, ce qui signifie que la plupart des noms placés dans cette catégorie par le classificateur correspondent aux étiquettes de référence. En revanche, le rappel n’est que de 58,1 %, ce qui signifie que le classificateur n’a identifié qu’environ 58 % des noms que la relecture de référence place dans cette catégorie.
Certains noms classés Neutral par le classificateur ont reçu une catégorie plus précise lors de la relecture de référence. L’auteur indique que ce test n’établit pas la taille correcte de ce groupe, mais montre que les chiffres de composition des articles précédents ne doivent pas être considérés comme définitifs. Les cas manqués se répartissent sur plusieurs schémas de nommage récurrents. Selon l’auteur, la validation actuelle ne montre pas quelles modifications amélioreraient les résultats sans introduire de nouvelles erreurs.
Les chiffres de composition des publications précédentes proviennent d’une version antérieure de la méthode. L’auteur estime que cette validation ultérieure a mis en évidence des limites qui pourraient aussi s’appliquer à cette version, et considère que les pourcentages publiés jusqu’ici sont provisoires.