Blindtest zeigt: Klassifizierer übersieht viele Domainnamen mit Betreiberbezug
in einfachen worten
Manche Computerprogramme sortieren Domainnamen in Gruppen, je nachdem, wie sie aussehen. Ein neuer Test prüfte ein solches Programm mit Labels, die Menschen ohne Blick auf seine Antworten erstellt hatten. Das Programm lag oft richtig, wenn es eine Gruppe wählte, übersah aber viele Namen, die dort hingehörten.
Ausführliche Zusammenfassung
Mohd Hashim, Gründer von DomainGemsAI, hat eine Blindprüfung einer Klassifizierungsmethode veröffentlicht, die er in früheren CircleID-Artikeln zu Domainnamensräumen verwendet hat. Die Methode ordnet Registrierung Der Erwerb des Rechts, einen Domainnamen für einen festgelegten Zeitraum zu nutzen. Vollständige Definition von Registrierung in drei Kategorien ein: Operator-orientiert, Investor-Muster und Neutral. Diese Kategorien beschreiben Muster, die im Domainname Ein lesbarer Name im Internet aus Labels, die durch Punkte getrennt sind. Vollständige Definition von Domainname selbst sichtbar sind, nicht geprüfte Absichten des Domaininhabers, Eigentumsverhältnisse oder die tatsächliche Nutzung.
Der Klassifikator wurde eingefroren und an einer Stichprobe von 340 Domains aus einem einzigen Namensraum Die Gesamtheit aller Namen in einem Namenssystem, etwa dem DNS. Vollständige Definition von Namensraum getestet. Die Stichprobe wurde so zusammengestellt, dass verschiedene vorhergesagte Kategorien und Namensmuster abgedeckt sind, dazu kam eine Zufallsauswahl. Sie sollte das Verhalten über verschiedene Namenstypen hinweg untersuchen und nicht die Genauigkeit für den gesamten Namensraum schätzen. Die Referenz-Labels wurden getrennt erstellt, ohne Zugriff auf die Vorhersagen des Klassifikators, und anschließend geprüft und entschieden. Die Kennzeichnung war KI-gestützt und von Menschen geprüft, nicht von unabhängigen Domainexperten erstellt. Der Autor sagt, dass die Blindheit gegenüber dem Klassifikator die Labels nicht zu einer unabhängig belegten Grundwahrheit macht.
Bei der Kategorie Investor-Muster lagen Präzision und Trefferquote gegenüber den Referenz-Labels jeweils über 90 Prozent. Bei Operator-orientierten Namen betrug die Präzision 91,5 %, das heißt, die meisten Namen, die der Klassifikator dort einordnete, stimmten mit den Referenz-Labels überein. Die Trefferquote lag dagegen bei 58,1 %. Der Klassifikator erkannte also nur etwa 58 % der Namen, die die Referenzprüfung in diese Kategorie einordnete.
Einige Namen, die der Klassifikator der Kategorie Neutral zugeordnet hatte, bekamen bei der Referenzprüfung eine genauere Kategorie. Der Autor sagt, der Test belege nicht die richtige Größe dieser Gruppe, zeige aber, dass die Anteilswerte in den früheren Artikeln nicht als gesichert gelten sollten. Die Fehlfälle verteilten sich auf mehrere wiederkehrende Namensmuster. Laut Autor zeigt die aktuelle Validierung nicht, welche Änderungen die Leistung verbessern würden, ohne neue Fehler zu verursachen.
Die Anteilswerte in den früheren Beiträgen stammten aus einer früheren Version der Methode. Der Autor erklärt, dass diese spätere Validierung Einschränkungen aufgedeckt hat, die auch für jene Version gelten könnten, und hält die bisher veröffentlichten Prozentwerte für vorläufig.