Стратегические тенденции в области качества данных: Metric in Motion - подход к качеству данных с использованием искусственного интеллекта

Качественные данные - это не просто эталон, это стратегическая необходимость для глобального доверия, соблюдения законодательства и совместимости. В этом блоге Зорница Манолова, руководитель отдела управления качеством данных и науки о данных в GLEIF, рассказывает о том, как искусственный интеллект помогает усилить проверки качества данных для построения более прозрачной глобальной экономики.

---

---

В условиях все более взаимосвязанной глобальной экономики способность организаций доверять данным и эффективно их использовать является основой для инноваций, роста и конкурентоспособности.

Высококачественная экосистема данных - это движущая сила перемен и инноваций, которая позволяет организациям выявлять и использовать новые возможности, в то время как низкое качество данных может привести к неэффективности и подверженности регуляторным и репутационным рискам.

GLEIF стремится оптимизировать качество, надежность и удобство использования данных LEI. С 2017 года он публикует ежемесячные отчеты, прозрачно демонстрирующие общее качество данных, достигнутое в Глобальной системе LEI.

Чтобы помочь более широкому пониманию и осознанию инициатив GLEIF в области качества данных, в этой новой серии блогов рассматриваются ключевые показатели, включенные в отчеты.

В блоге этого месяца рассказывается о том, как искусственный интеллект помогает повысить качество данных.

Обеспечение надежности данных LEI в глобальном масштабе требует последовательной интерпретации нормативных и политических требований. По мере развития и усложнения этих требований искусственный интеллект укрепляет возможности GLEIF для поддержки масштабируемого обеспечения качества, гарантируя при этом, что прозрачность и управление остаются центральными.

От требований политик к проверке качества данных

Регулятивно-надзорный комитет (ROC) определяет бизнес-правила и политики, регулирующие работу Глобальной системы LEI. Затем эти требования описываются и переводятся в технические спецификации с помощью правил перехода в состояние и проверки. Вместе они определяют бизнес-логику и процессы для выпуска, обновления, управления и публикации данных LEI в Едином формате файла данных (CDF).

GLEIF реализует эти правила, преобразуя их в подробные технические спецификации и внедряя их с помощью проверок качества данных, обеспечивая последовательное отражение целей регулирования в данных LEI, публикуемых в системе.

Обеспечение согласованности путем установления правил по качеству данных

Центральным элементом этой реализации является процесс GLEIF по установлению правил качества данных - структурированный и систематический подход, определяющий, как каждая проверка качества данных определяется, интерпретируется и применяется в Глобальной системе LEI.

Благодаря четкой формализации логики, лежащей в основе каждой проверки, этот процесс обеспечивает последовательность и воспроизводимость оценок. Это позволяет проводить прозрачные, масштабируемые оценки качества данных в миллионах записей LEI и обеспечивает последовательное применение одних и тех же правил в разных юрисдикциях, эмитентах и циклах обновления.

Однако по мере развития и роста Глобальной системы LEI растет и количество правил и соответствующих проверок. В настоящее время насчитывается более 200 проверок качества данных, и этот растущий масштаб создает дополнительную сложность и новые проблемы.

ИИ помогает решать эти возникающие проблемы. Поддержка анализа сложных, взаимозависимых правил помогает выявить дублирование или пробелы в проверках и упрощает создание и обслуживание логики качества данных. В результате общая структура качества данных становится более эффективной, адаптируемой и масштабируемой, оставаясь при этом в рамках установленных процессов управления.

Чтобы проиллюстрировать, как это работает на практике, в следующем разделе приводится техническая информация о том, как большие языковые модели (LLM) поддерживают структурированное преобразование текста политики в машиночитаемые правила и оперативные проверки качества данных.

Глубокое погружение: Преобразование текста политики в машиночитаемые правила

GLEIF использует LLM для поддержки идентификации новых правил и выявления потенциальных противоречий с существующими проверками качества данных, обеспечивая сквозной процесс проверки - от нормативных и политических документов до их реализации.

Этот подход основан на четком и структурированном рабочем процессе, который обеспечивает последовательное отражение политического замысла в оперативных проверках в рамках Глобальной системы LEI. Рабочий процесс можно свести к следующим этапам:

Предварительная обработка: Процесс начинается с систематического анализа документов по политике и стандартам для выявления соответствующих правил и требований. ИИ помогает выявить ключевые понятия и условия, содержащиеся в этих текстах, обеспечивая точное и всестороннее отражение важных нормативных требований. На этом начальном этапе исходный документ обрабатывается для надежного извлечения соответствующих правил. Это включает в себя:

• разделение документа на фрагменты с учетом контекста
• идентификацию имен сущностей и терминов
• фильтрацию контекстно-зависимых фрагментов с помощью поиска по ключу-имени сущности
• извлечение неструктурированных текстовых правил.

Пример: Международный филиал - это неинкорпорированное учреждение юридического лица, расположенное в юрисдикции, отличной от юрисдикции его головного офиса.

Разрешение сущностей с отображением онтологии: Требования, описанные в формальных документах, затем согласовываются с моделью языка правил GLEIF, создавая общее понимание того, как должны интерпретироваться сущности, атрибуты и отношения. Этот шаг необходим для обеспечения согласованности, гарантирующей единообразное применение одних и тех же понятий, даже если они по-разному описаны в исходных документах. Для этого извлеченные термины нормализуются и сопоставляются с онтологией GLEIF Rule Setting.

Пример:

• "Международный филиал - это неинкорпорированное учреждение юридического лица" сопоставляется с:

  - *lei:EntityCategory IN ['BRANCH']
  
  - *rr:RelationshipType IN ['_ISINTERNATIONALBRANCH_OF_']

• "расположен в юрисдикции, отличной от юрисдикции головного офиса" сопоставляется с:

  - *lei:LegalAddress/lei:Country NOT $EQUALS _$ENDNODERECORD_lei:LegalJurisdiction $COUNTRY_PART

Создание проверок и проверка: Наконец, полученные правила согласовываются с существующими проверками качества данных, причем искусственный интеллект помогает определить, где проверки уже существуют, где они пересекаются, а где могут возникнуть противоречия или пробелы. Такой подход помогает справиться со сложностью более чем 200 проверок, при этом реализация обычно включает в себя спецификацию, разработку, проверку, тестирование и выпуск. Это поддерживает контролируемое, прозрачное развитие набора правил и повышает общую согласованность, масштабируемость и надежность Системы качества данных.

Как искусственный интеллект усиливает проверку качества данных для повышения прозрачности мировой экономики

Сочетая автоматизацию на основе искусственного интеллекта с человеческим опытом, GLEIF повышает эффективность и надежность своей Системы качества данных. Подход, основанный на онтологии, обеспечивает последовательность и точность, а базовые процессы разработаны с учетом масштабирования по мере роста объемов и сложности данных. В то же время искусственный интеллект поддерживает непрерывное совершенствование, выявляя неоднозначность формулировок правил и открывая возможности для совершенствования методик. Вместе эти возможности укрепляют устойчивый, прозрачный и перспективный подход к качеству данных в Глобальной системе LEI.

---