盲测显示域名分类器漏判大量运营者相关名称
通俗解读
一些电脑工具会根据网站名称的外观把它们分成不同组别。一项新测试在不看工具答案的情况下，用人工标注的结果检查了这种工具。工具选中某一组时往往是对的，但漏掉了许多本应属于该组的名称。
详细摘要
Mohd Hashim是DomainGemsAI的创始人，他发布了一项盲测验证，检验其早前在CircleID 关于互联网基础设施和域名政策的在线发布平台，于2002年上线。 完整定义（CircleID）上发表的文章中使用的一种分类方法，该方法用于分析域名 由以点分隔的标签组成、便于阅读的互联网名称。 完整定义（域名）命名空间 某个命名系统（如DNS）中所有名称的集合。 完整定义（命名空间）。该方法将域名注册 在一定期限内取得某个域名使用权的过程。 完整定义（域名注册）分为三类：运营者相关、投资者模式和中性。这些类别描述的是域名字符串本身可见的模式，而非经核实的注册人 持有域名注册的个人或组织。 完整定义（注册人）意图、所有权或实际用途。
分类器被固定后，在从同一命名空间中抽取的340个域名样本上进行测试。该样本旨在覆盖不同的预测类别和命名模式，并包含一个随机子集，其设计目的是考察不同名称类型的表现，而非估算整个命名空间的准确率。参考标签 域名中以点分隔的一个部分，最长63个字符。 完整定义（标签）由单独的过程生成，标注者无法看到分类器的预测，随后经过复核和裁定。标注借助了人工智能辅助，并经人工复核，并非由独立的域名专家完成。作者称，标注对分类器不可见，并不意味着这些标签是独立确立的基准事实。
对于投资者模式类别，相对于参考标签，精确率和召回率均超过90%。对于运营者相关名称，精确率为91.5%，意味着分类器归入该类的大多数名称与参考标签一致；召回率为58.1%，意味着分类器仅识别出参考复核归入该类的约58%的名称。
分类器归入中性类别的一些名称，在参考复核中被划入了更具体的类别。作者称，此次测试不能确定该组的正确规模，但表明早前文章中的构成比例不应被视为定论。漏判的情况分布于多种反复出现的命名模式。作者称，当前验证未能说明哪些改动能在不引入新错误的情况下提升表现。
早前文章中的构成数据来自该方法的早期版本。作者称，此次后续验证发现的局限性也可能适用于该版本，并认为先前发布的百分比仅为暂定数字。