Слепой тест показал, что классификатор доменов пропускает многие имена, отнесенные к категории оператора
простыми словами
Некоторые компьютерные инструменты делят названия сайтов на группы по их внешнему виду. Новый тест проверил один такой инструмент на метках, которые составляли люди, не видевшие его ответов. Инструмент часто оказывался прав, когда относил имя к группе, но пропускал многие имена, которые в ней должны были быть.
Подробное изложение
Мохд Хашим, основатель DomainGemsAI, опубликовал слепую проверку метода классификации, который использовался в его более ранних статьях на CircleID Онлайн-платформа для публикаций об интернет-инфраструктуре и доменной политике, запущенная в 2002 году. Полное определение термина CircleID о пространствах доменное имя Понятное человеку имя в интернете, состоящее из меток, разделенных точками. Полное определение термина доменное имя. Метод делит регистрации на три категории: Operator-aligned, Investor-pattern и Neutral. Эти категории описывают закономерности, видимые в самой строке домена, а не подтвержденные намерения, владение или фактическое использование со стороны регистрант Человек или организация, на которых зарегистрировано доменное имя. Полное определение термина регистрант.
Классификатор был зафиксирован и проверен на выборке из 340 доменов, взятых из одного пространство имен Совокупность всех имен в одной системе имен, например в DNS. Полное определение термина пространство имен. Выборка была составлена так, чтобы охватить разные прогнозируемые категории и шаблоны названий, а также включала случайное подмножество. Она предназначалась для изучения поведения на разных типах имен, а не для оценки точности по всему пространству имен. Эталонные метки были созданы отдельно, без доступа к прогнозам классификатора, а затем проверены и согласованы. Разметка выполнялась с помощью ИИ и проверялась людьми, а не независимыми экспертами по доменам. Автор отмечает, что слепота по отношению к классификатору не делает эти метки независимо установленной эталонной истиной.
Для категории Investor-pattern точность и полнота относительно эталонных меток превысили 90%. Для имен Operator-aligned точность составила 91,5%, то есть большинство имен, которые классификатор отнес сюда, совпали с эталонными метками. Полнота же составила 58,1%, то есть классификатор выявил лишь около 58% имен, которые при эталонной проверке попали в эту категорию.
Некоторые имена, которые классификатор отнес к категории Neutral, при эталонной проверке получили более конкретную категорию. Автор отмечает, что этот тест не позволяет установить правильный размер данной группы, но показывает, что цифры по составу в более ранних статьях нельзя считать окончательными. Пропущенные случаи приходились на несколько повторяющихся шаблонов названий. Автор также указывает, что нынешняя проверка не показывает, какие изменения улучшили бы результат без появления новых ошибок.
Цифры о составе в предыдущих материалах получены с помощью более ранней версии метода. Автор считает, что выявленные в ходе этой проверки ограничения могут относиться и к той версии, поэтому ранее опубликованные проценты он рассматривает как предварительные.