Prueba a ciegas revela que el clasificador de dominios pasa por alto muchos nombres
en claro
Algunas herramientas informáticas agrupan los nombres de sitios web según su aspecto. Una nueva prueba comprobó una de ellas con etiquetas hechas por personas que no vieron sus respuestas. La herramienta acertó con frecuencia cuando elegía un grupo, pero no encontró muchos nombres que sí pertenecían a él.
Resumen completo
Mohd Hashim, fundador de DomainGemsAI, ha publicado una validación ciega de un método de clasificación utilizado en sus artículos anteriores de CircleID Plataforma de publicación en línea sobre infraestructura de Internet y políticas de dominios, lanzada en 2002. Definición completa de CircleID sobre espacio de nombres Conjunto de todos los nombres de un sistema de nombres, como el DNS. Definición completa de espacio de nombres de dominio. El método ordena los registro Base de datos y sistema centrales de un dominio de nivel superior o, de forma menos precisa, la organización que los gestiona. Definición completa de registro en tres categorías: alineados con el operador, patrón de inversor y neutral. Estas categorías describen patrones visibles en la propia cadena del nombre de dominio Nombre de Internet legible, formado por etiquetas separadas por puntos. Definición completa de nombre de dominio, no la intención verificada del titular Persona u organización a cuyo nombre está registrado un nombre de dominio. Definición completa de titular, la propiedad ni el uso real.
El clasificador se congeló y se probó con una muestra de 340 dominios extraída de un único espacio de nombres. La muestra se construyó para cubrir distintas categorías predichas y patrones de nombres, junto con un subconjunto aleatorio, y estaba diseñada para examinar el comportamiento según los tipos de nombre, no para estimar la precisión de todo el espacio de nombres. Las etiqueta Cada parte de un nombre de dominio separada por puntos, de hasta 63 caracteres. Definición completa de etiqueta de referencia se generaron por separado, sin acceso a las predicciones del clasificador, y después se revisaron y se dirimieron. El etiquetado fue asistido por IA y revisado por personas, no producido por expertos independientes en dominios, y el autor afirma que el hecho de que sean ciegas al clasificador no convierte las etiquetas en una referencia verdadera establecida de forma independiente.
En la categoría de patrón de inversor, la precisión y la exhaustividad frente a las etiquetas de referencia superaron ambas el 90 %. Para los nombres alineados con el operador, la precisión fue del 91,5 %, lo que significa que la mayoría de los nombres que el clasificador situó allí coincidían con las etiquetas de referencia, mientras que la exhaustividad fue del 58,1 %, lo que significa que el clasificador identificó solo alrededor del 58 % de los nombres que la revisión de referencia situó en esa categoría.
Algunos nombres que el clasificador puso en la categoría neutral recibieron una categoría más específica durante la revisión de referencia. El autor afirma que esta prueba no establece el tamaño correcto de ese grupo, pero muestra que las cifras de composición de los artículos anteriores no deberían tratarse como definitivas. Los casos no detectados se repartían entre varios patrones de nombres recurrentes. El autor afirma que la validación actual no muestra qué cambios mejorarían el rendimiento sin añadir nuevos errores.
Las cifras de composición de las piezas anteriores procedían de una versión anterior del método. El autor afirma que esta validación posterior identificó limitaciones que también podrían aplicarse a esa versión, y considera que los porcentajes publicados previamente son provisionales.