Превращение данных в возможности: «Metric in Motion» — обнаружение дубликатов с помощью ИИ

Высококачественные данные — это не просто ориентир, а стратегическая необходимость для обеспечения глобального доверия, соблюдения законодательства и взаимодействия. В этом блоге Зорница Манолова, руководитель отдела управления качеством данных и аналитики данных в GLEIF, рассказывает о том, как искусственный интеллект еще больше совершенствует процесс обнаружения дубликатов, способствуя уникальной и надежной идентификации юридических лиц в рамках Глобальной системы LEI.

---

---

Каждый код идентификации юридических лиц (LEI) является уникальным и может представлять только одно юридическое лицо. Каждое юридическое лицо может иметь только один код LEI. Эти принципы лежат в основе Глобальной системы идентификации юридических лиц, позволяя любому человеку в любой точке мира с уверенностью идентифицировать юридические лица.

Поэтому предотвращение дубликатов записей LEI имеет решающее значение для поддержания доверия к Глобальной системе LEI и является ключевой частью программы GLEIF по проактивному управлению качеством данных. Благодаря отлаженному процессу выявления и устранения дубликатов — включающему превентивные меры контроля, обязательства и проверку со стороны Организаций, выдающих коды LEI, а также четкие операционные процедуры — доля потенциальных дубликатов уже составляет менее 0,2 % от общего числа записей в Глобальной системе LEI.

Усиление механизмов выявления дубликатов с помощью искусственного интеллекта

По мере того как объемы и сложность данных продолжают расти, GLEIF стремится к дальнейшему совершенствованию процессов выявления дубликатов. В частности, ИИ открывает новые возможности для внедрения более точного, масштабируемого и последовательного подхода.

Одним из ключевых механизмов контроля, который уже совершенствуется с помощью ИИ, является функция GLEIF «Проверка на дублирование».

Функция «Проверка на дублирование» позволяет организациям, выдающим коды LEI, оценить, существуют ли предлагаемый LEI и связанные с ним справочные данные в Глобальном каталоге LEI до публикации нового LEI. В ходе процесса присвоения новые записи сравниваются как с полным индексом LEI, так и с записями, которые еще не были выпущены другими организациями, выдающими коды LEI. Это помогает гарантировать, что даже если одно и то же юридическое лицо обращается к нескольким организациям, выдающим коды LEI, потенциальные дубликаты могут быть выявлены и устранены до публикации.

Благодаря поддержке искусственного интеллекта данная функция теперь выходит за рамки предыдущего алгоритма, который основывался главным образом на неточном сопоставлении названий. Она позволяет раньше выявлять, более эффективно сравнивать потенциально связанные записи и координированно устранять проблемы до публикации.

Как это работает

Усовершенствованный процесс обнаружения дубликатов следует структурированному рабочему процессу, состоящему из трех основных этапов:

• Предварительная обработка:
  Представленная запись очищается и стандартизируется. Это включает удаление знаков препинания, нормализацию пробелов, синтаксический анализ записи для извлечения соответствующих справочных данных и генерацию векторных вложений для последующего сравнения.
• Фильтрация:
  Затем бэкэнд с использованием искусственного интеллекта выявляет потенциальные совпадения. В ходе этого процесса сначала проверяется код LEI, а затем сравниваются регистрационные органы и регистрационные идентификаторы. Выбранные элементы справочных данных также преобразуются в векторные вложения и сопоставляются с существующими записями в Глобальном каталоге LEI. Затем записи с потенциальными совпадениями передаются на этап оценки.
• Оценка:
  На этом этапе проводится дополнительная оценка этих потенциальных совпадений с целью сокращения числа ложных срабатываний. При этом учитываются такие элементы, как юридическое название, организационно-правовая форма, адрес, юрисдикция и дата создания Юридического лица, с дополнительной обработкой для конкретных категорий, таких как фонды и филиалы.

Более быстрое, масштабируемое и согласованное обнаружение дубликатов

В совокупности этот процесс повышает эффективность обнаружения дубликатов, обеспечивая:

• Более быстрое и раннее выявление потенциальных дубликатов регистраций до публикации нового кода LEI в Глобальном каталоге LEI.
• Повышенную масштабируемость по мере роста Глобальной системы LEI, поскольку использование векторных вложений позволяет сравнивать записи с большими объемами существующих справочных данных по LEI.
• Последовательный и стандартизированный подход, не зависящий от характера деятельности и местонахождения организации, выдающей коды LEI.
• Более строгий контроль качества данных за счет проверки множества элементов данных, включая код LEI, регистрирующий орган, идентификаторы, юридическое название, адрес, юрисдикцию и организационно-правовую форму.

Использование потенциала ИИ для обнаружения дубликатов

Благодаря предварительной обработке, фильтрации и оценке с помощью ИИ становится очевидным, как ИИ позволяет функции «Проверка на дублирование» стать более масштабируемой, эффективной и учитывающей контекст.

Чтобы ИИ давал надежные результаты, он должен основываться на полных и достоверных данных и поддерживаться четким механизмом управления. В GLEIF этот механизм управления укрепляется за счет проактивного управления качеством данных, устоявшихся процессов валидации и непрерывного мониторинга Глобальной системы LEI. Рекомендации ИИ сочетаются с прозрачным процессом принятия решений, постоянным совершенствованием моделей обнаружения, а также экспертными знаниями и контролем со стороны специалистов, что позволяет обеспечить точные и согласованные результаты.

В совокупности эти элементы подкрепляют неизменную приверженность GLEIF проактивному управлению качеством данных и поддержанию доверия в рамках Глобальной системы LEI.

---