Как Banco de Portugal повышает качество данных LEI в масштабе

Ана София Афонсо, научный сотрудник отдела управления данными в Banco de Portugal, делится практическим подходом к поддержанию высочайших стандартов качества данных в масштабах страны, сочетая перекрестную проверку с помощью искусственного интеллекта по авторитетным национальным источникам с функцией массового опроса GLEIF с использованием API.

---

---

Высококачественные данные по Код идентификации юридических лиц (LEI) - это ключ к тому, чтобы организации во всем мире могли доверять и им доверяли. Однако это качество не может быть достигнуто путем разовых ручных "чисток", которые являются непоследовательными, медленными и дорогостоящими. Вместо этого все чаще требуются проверяемые, повторяемые рабочие процессы, разработанные для повышения качества в масштабе при сокращении ручных операций.

Возьмем, к примеру, проблему определения того, когда Истекшие LEI - что свидетельствует о несвоевременном продлении - должны быть "отправлены в отставку", чтобы подтвердить, что юридическое лицо прекратило свою деятельность. Как этого можно достичь в масштабе? И, что особенно важно, как можно подкрепить решения четкими, последовательными и проверяемыми доказательствами?

В этом блоге Ана София Афонсо, специалист по анализу данных из отдела управления данными в Banco de Portugal, рассказывает о том, как была решена эта проблема. Сочетание алгоритмов машинного обучения (ML) и искусственного интеллекта со строгим контролем качества и экспертной проверкой для выявления LEI, которые могут быть отправлены на пенсию, позволило укрепить согласованность данных и управление ими в национальных и международных справочных системах. Это дает представление о том, как все пользователи данных LEI могут помочь повысить своевременность, точность и надежность Глобальной системы LEI.

Понимание LEI в национальной среде справочных данных

В Португалии каждое юридическое лицо-резидент должно иметь национальный идентификатор для юридических и фискальных целей. Однако LEI являются обязательными только в определенных нормативных контекстах. В результате общий охват LEI остается более ограниченным. Кроме того, события жизненного цикла LEI часто инициируются внешними обязательствами по отчетности, а не фактическими изменениями в юридическом статусе организации.

Это создает проблему структурного характера. По мере развития национальных реестров предприятий данные LEI - особенно для организаций, которые перестают обновлять свои справочные данные, - могут не совпадать. Со временем мы заметили, что это создает несколько повторяющихся проблем:

• LEI остаются неактивными после того, как соответствующие организации стали неактивными в национальном бизнес-реестре;
• Несоответствия между национальными идентификаторами, зарегистрированными в GLEIF, и идентификаторами, хранящимися в национальных органах власти (исходные данные для систем справочных данных Banco de Portugal);
• Необходимость проведения ручных расследований, которые отнимали много времени, трудно было определить приоритеты и невозможно было эффективно масштабировать.

Почему Истекшие LEI требуют тщательной интерпретации

В ответ на эти проблемы мы решили изучить подход к эффективному и действенному повышению качества данных на протяжении всего жизненного цикла LEI и укреплению доверия к глобальным справочным данным.

Ключевой момент нашего первоначального анализа заключался в том, что истекший LEI не означает, что связанное с ним юридическое лицо неактивно. Непродление может просто отражать изменение обязательств по отчетности, а не прекращение деятельности юридического лица. И наоборот, юридическое лицо может уже быть юридически неактивным, в то время как его LEI либо утратил силу, либо все еще выдается.

Самое важное, что мы признали критическое соображение: неправильное удаление LEI хуже, чем его отсутствие вообще, так как это введет в заблуждение, что юридическое лицо прекратило свою деятельность. Как следствие, организация может быть ограничена в возможности торговать или осуществлять свою деятельность в целом. Это означает, что использование статуса "прекратившего деятельность" в качестве автоматического триггера для выхода из состава юридического лица влечет за собой значительные риски в области управления, и поэтому любое решение должно быть консервативным, основанным на фактах и полностью проверяемым.

В результате проблема заключалась в том, чтобы провести различие между:
a) LEI, которые не были продлены, но все еще соответствуют активным организациям, и
б) LEI, связанные с юридическими лицами, которые юридически неактивны в Португалии.

Наш подход: ИИ в перекрестной проверке по авторитетным национальным данным

Для надежного достижения такого различия требовалось интегрировать множество источников данных и применять последовательный, основанный на фактах контроль качества. Наш подход был построен на простом принципе: Решения по жизненному циклу LEI должны опираться на авторитетную национальную информацию и выполняться контролируемым, масштабируемым образом.

Для этого данные из GLEIF, внешних источников и национального реестра предприятий постоянно интегрируются в нашу среду справочных данных, обеспечивая консолидированное представление о личности, юридическом статусе и статусе регистрации LEI. Затем применяются алгоритмы ML и AI для стандартизации названий и идентификаторов организаций и вычисления баллов сходства между наборами данных, что позволяет проводить масштабную перекрестную проверку записей LEI по авторитетным национальным источникам, чтобы определить, когда требуется обновление.

После проверки обновления вводятся в действие через систему массовых вызовов GLEIF с поддержкой API, что значительно сокращает ручные операции и упрощает внутренние процессы. В то же время эта система обеспечивает дополнительный уровень гарантии, позволяя независимой третьей стороне проверять информацию. Это гарантирует, что верифицируемый код LEI будет обрабатываться последовательно, эффективно и с полной отслеживаемостью, избегая ненужных специальных или ручных вмешательств.

Важно также отметить, что на протяжении всего рабочего процесса сохраняется человеческий контроль. Сложные или неоднозначные случаи передаются на рассмотрение экспертам, что гарантирует, что автоматизация усиливает управление, а не заменяет его.

Результаты: От реактивных расследований к контролируемым процессам

Применение этого подхода дало четкие и измеримые результаты.

Во-первых, мы выявили LEI, которые действительно могли быть отправлены на пенсию, основываясь на проверенной юридической бездеятельности, а не только на поведении при продлении.

Во-вторых, мы выявили значительное количество проблем с качеством данных, не связанных с выходом на пенсию, в частности с точностью идентификаторов. Устранение этих несоответствий улучшило общую согласованность между национальными справочными базами данных и записями GLEIF.

В-третьих, наш продольный анализ статуса регистрации LEI показал, что увеличение числа истекших и вышедших из обращения LEI в основном отражает динамику жизненного цикла подлинных организаций, а не системную деградацию данных. Включение этого временного аспекта оказалось важным для правильной интерпретации данных.

Наконец, мы перешли от специальных ручных расследований к повторяющимся, проверяемым рабочим процессам, поддерживаемым четкими критериями и документированными результатами, что позволило укрепить последовательность и управление.

Повышение качества данных в глобальной системе LEI

Помимо значительных операционных преимуществ, этот подход демонстрирует нашу твердую приверженность Глобальной системе LEI. Своевременно обмениваясь информацией и обновляя справочные данные LEI вне стандартного цикла продления, мы активно помогаем поддерживать высочайшие стандарты качества данных и обеспечиваем точность и актуальность справочных данных LEI. Это играет решающую роль в обеспечении доверия и прозрачности в португальской экономике и за ее пределами.

Благодарности

Данная работа является результатом совместной коллективной работы, объединившей знания, опыт и взгляды нескольких участников, чьи совместные усилия сделали ее возможной. Я хотел бы выразить искреннюю благодарность всем участникам процесса, чьи обсуждения, отзывы и преданность делу сыграли основополагающую роль в создании этой работы, особо отметив Марию ду Карму Морено и Бруно Гонсалу Тенорио. Мнения, выраженные в данной работе, не обязательно отражают точку зрения учреждений и должны восприниматься исключительно как авторская интерпретация и анализ предмета.

---