Превращение данных в возможности: «Metric in Motion» — анализ данных с учетом изменений

Справочные данные LEI изменяются по мере того, как организации обновляют свои названия, адреса, регистрационные данные и другую информацию. В этом блоге Зорница Манолова, руководитель отдела управления качеством данных и аналитики данных в GLEIF, объясняет два практических способа, с помощью которых пользователи данных могут определить, что изменилось в конкретной организации, сравнивая Золотую копию GLEIF и файлы Delta, а также используя API GLEIF для проверки последних обновлений отдельных записей LEI. В прилагаемом ноутбуке Jupyter показано, как эти подходы можно применить на практике.

---

---

Каждая запись Кода идентификации юридических лиц (LEI) связана со справочными данными о соответствующем юридическом лице. Сюда входят, помимо прочего, официальное название юридического лица и другие названия, организационно-правовая форма и юрисдикция, адресная информация, а также статус регистрации.

Справочные данные о юридическом лице не являются статичными; они меняются по мере изменения юридических лиц. Компания может переехать, изменить свое юридическое название или организационно-правовую форму, обновить статус регистрации, сменить материнскую компанию или пережить корпоративное событие. Данные LEI должны идти в ногу с этими изменениями, чтобы обеспечить точность глобального массива данных LEI и сохранить доверие к Глобальной системе LEI.

Помимо обязательного ежегодного процесса продления, в ходе которого организации, выдающие коды LEI, повторно проверяют данные по организациям, за которые они отвечают, изменения в справочных данных LEI также могут выявляться с помощью общедоступной службы «Challenge LEI Data». Кроме того, GLEIF ежедневно обрабатывает данные из внешних источников и сопоставляет их с существующими записями LEI. В случае выявления потенциальных несоответствий GLEIF может инициировать запрос на обновление в адрес организации, управляющей кодом LEI.

Однако поддержание актуальности данных LEI — это лишь часть задачи. Пользователям данных также необходимо знать, что именно изменилось. Своевременность и актуальность данных LEI имеют решающее значение для их полезности. Быстрое выявление того, что и когда изменилось, особенно в отношении организаций, представляющих интерес, может помочь пользователям подтвердить изменения и с большей уверенностью обновлять свои собственные системы.

Динамика показателей: насколько часто меняются данные LEI?

В среднем за последний месяц ежедневно добавлялось или изменялось 7 354 записи LEI, что составило около 220 620 изменений за месяц. Поэтому выделение этих изменений, вместо многократной обработки полного набора данных LEI, может иметь значительное значение для пользователей данных.

GLEIF предоставляет данные LEI в различных форматах для удовлетворения разнообразных потребностей пользователей. Двумя наиболее распространенными типами файлов являются:

• Файлы «Золотая копия»: содержат полную «моментальную» копию опубликованных данных LEI на определенный момент времени.
• Файлы «Delta»: содержат записи, добавленные или измененные с момента предыдущей публикации, что позволяет пользователям сосредоточиться на обновлениях, а не на повторной обработке полного набора данных.

GLEIF также предоставляет доступ к данным LEI через API GLEIF, что позволяет пользователям и приложениям программно извлекать отдельные записи LEI и связанную с ними информацию.

Для пользователей, работающих с данными LEI, проблема зачастую заключается не в доступе к самим данным, а в быстром выявлении и понимании изменений.

В данной статье рассматриваются два практических способа выявления изменений в данных LEI: с помощью файлов дельта и с помощью API GLEIF для просмотра последних изменений полей для конкретного LEI. Оба подхода помогают свести большой объем данных к гораздо более простому вопросу: что изменилось и каким было значение до и после изменения?

Также доступен сопутствующий Jupyter-ноутбук, содержащий практическую реализацию этих подходов.

Что содержится в файле дельта?

В то время как «Золотая копия» (Golden Copy) предоставляет полную картину данных LEI на определенный момент времени, файлы Delta содержат только записи, которые изменились или были добавлены с момента предыдущей публикации. Просматривая коды LEI в файле Delta, пользователи могут быстро определить, является ли код LEI:

• Вновь добавлен
• уже присутствует, но был обновлен

В случае изменения записей GLEIF выделяет конкретные поля, в которых произошли изменения, и отображает как предыдущие, так и текущие значения рядом друг с другом. Например, пользователь может увидеть, что юридическое название LEI осталось без изменений, в то время как его юридический адрес, статус регистрации или информация о материнской компании были обновлены. Это позволяет пользователям сосредоточиться только на том, что требует внимания, вместо повторного просмотра всей записи, что позволяет сэкономить драгоценное время.

Проверка изменений через API GLEIF

API GLEIF предоставляет еще один способ ознакомления с последними обновлениями LEI. Вместо сравнения двух загруженных файлов API может предоставить историю изменений полей для конкретного LEI. Это позволяет выявить самые последние изменения в данных об организации без необходимости ручной обработки полных файлов «Золотая копия» и «Delta».

Для упрощения работы с системой вы можете сначала определить дату последнего изменения и отобразить только те поля, которые были изменены в эту дату. Это упрощает ответы на такие вопросы, как:

• Что изменилось в последнее время для данного LEI?
• Какие поля были обновлены?
• Каковы были предыдущие и текущие значения?

Упрощение понимания изменений

Исходные названия полей и записи об изменениях могут быть сложны для интерпретации, особенно для пользователей, не знакомых с базовой структурой данных. Группировка изменений по значимым категориям может значительно упростить анализ результатов. Примеры таких категорий включают:

• Субъект / Юридическая идентификация
• Юридический адрес
• Адрес головного офиса
• Регистрация / Проверка
• События, связанные с юридическим лицом
• Взаимосвязи / Исключения в отчетности

Это позволяет пользователям сосредоточиться на причине изменения, а не на структуре исходных данных.

Преимущества

Данные подходы позволяют пользователям данных более эффективно получать доступ к данным по интересующим их субъектам и интерпретировать их. Это достигается за счет:

• Более быстрое выявление изменений: пользователи могут фильтровать данные, чтобы отобразить только те записи и поля, которые изменились, без обработки всего набора данных.
• Четкое выявление новых кодов LEI: новые записи легко отличить от обновлений существующих записей.
• Более простой проверки: предыдущие и текущие значения можно просматривать рядом.
• Более наглядные результаты: изменения можно сгруппировать по привычным бизнес-категориям, а не отображать только технические пути к полям.
• Более целенаправленный мониторинг: исходя из собственных профилей риска, пользователи могут отслеживать выбранные организации и сосредоточиваться на изменениях, имеющих отношение к их процессам.

Практичный способ изучения обновлений LEI

Эти два подхода служат разным, но взаимодополняющим целям. Файлы Delta полезны при работе с опубликованными файлами и проверке того, какие записи изменились при сравнении наборов данных. Подход с использованием API полезен, когда требуется быстро проанализировать самые последние зарегистрированные изменения для отдельных кодов LEI. В совокупности они предоставляют практический способ перехода от обширных наборов данных LEI к четкому представлению о том, что именно изменилось, что упрощает доступ к данным LEI, их анализ и понимание. Для пользователей, которые ведут учет данных об организациях в своих собственных системах, эти подходы позволяют превратить изменения данных LEI из простого объекта обработки в информацию, на основе которой можно принимать решения.

---