将数据转化为机遇：动态指标——基于人工智能的重复数据检测

高质量数据不仅仅是一个基准——它是建立全球信任、确保合规性和实现互操作性的战略必需。在本篇博客中，GLEIF数据质量管理与数据科学负责人佐尔尼察·马诺洛娃（Zornitsa Manolova）探讨了人工智能如何进一步增强重复数据检测能力，从而促进全球LEI系统中唯一且可靠的实体识别。

---

---

每个全球法人识别编码（LEI）都是唯一的，且只能代表一个法定实体。每个法定实体也只能拥有一个LEI代码。这些原则是全球法人识别编码体系的基石，使世界各地的任何人都能自信地识别法定实体。

因此，防止LEI记录重复数据对于维护全球LEI系统的公信力至关重要，也是GLEIF主动型数据质量管理计划的关键组成部分。 一套完善的重复数据检测与整改流程——包括预防性控制措施、LEI 发行机构的承诺与审查，以及清晰的操作程序——已确保全球 LEI 系统中潜在重复数据的比例低于 0.2%。

利用人工智能加强重复数据检测

随着数据量和复杂性的持续增加，GLEIF 致力于进一步改进重复数据检测流程。特别是，人工智能为推广更准确、可扩展且一致的方法提供了新机遇。

目前已通过人工智能得到增强的一项关键控制措施是 GLEIF 的“查重”功能。

“查重”是一项功能，可让LEI发行机构在新LEI发布前，评估拟申请的LEI及其相关参考数据是否已存在于全球LEI索引中。 在发行过程中，新记录会同时与完整的LEI索引以及其他LEI发行机构尚未发行的记录进行比对。这有助于确保，即使同一法定实体向多家LEI发行机构提出申请，潜在的重复数据也能在发布前被识别并解决。

借助人工智能的支持，该功能现已超越了此前主要依赖模糊名称匹配的算法。它能够更早地检测出潜在相关记录，更有效地进行比对，并在发布前协调解决相关问题。

工作原理

增强型重复数据检测流程遵循一个结构化的工作流，主要包括三个步骤：

• 预处理：
  对提交的记录进行清理和标准化处理。这包括去除标点符号、规范空格、解析记录以提取相关参考数据，以及生成向量嵌入以供后续比较。
• 筛选：
  随后，由人工智能增强的后端系统识别潜在匹配项。该过程首先核对LEI代码，然后比对注册机构和注册标识符。选定的参考数据元素也会被转换为向量嵌入，并与“全球LEI索引”中的现有记录进行比对。存在潜在匹配的记录随后将进入评分阶段。
• 评分：
  此步骤进一步评估这些潜在匹配项以减少误报。评估考虑的要素包括法定名称、法律形式、地址、管辖区域和实体成立日期，并对基金和分支机构等特定类别进行额外处理。

更快、更具可扩展性且更一致的重复数据检测

该流程通过以下方式增强了重复数据检测能力：

• 在新 LEI 发布至全球 LEI 索引之前，更快、更早地检测潜在重复数据。
• 随着全球LEI系统的持续扩展，通过使用向量嵌入技术，可将记录与海量现有LEI参考数据进行比对，从而提升可扩展性。
• 采用一致且标准化的方法，不受LEI发行机构性质和所在地的影响。
• 通过核查多个数据元素（包括LEI代码、注册机构、标识符、法定名称、地址、管辖区域和法律形式），加强数据质量控制。

利用人工智能的潜力进行重复数据检测

通过人工智能支持的预处理、过滤和评分，很明显，人工智能使“查重”功能变得更具可扩展性、更高效且更具情境感知能力。

为了使人工智能能够提供可靠的结果，它必须基于完整且可信的数据，并得到明确治理机制的支持。 在 GLEIF，通过主动的数据质量管理、既定的验证流程以及对全球 LEI 系统的持续监控，这一治理机制得到了强化。AI 建议与透明的决策机制、检测模型的持续优化以及人工专业知识和监督相结合，以确保结果的准确性和一致性。

这些要素共同支撑着 GLEIF 对主动数据质量管理以及维护全球 LEI 系统信任度的持续承诺。

---