Данные LEI Управление качеством данных GLEIF
adobestock_270047776

Контролировать можно лишь то, что можно измерить

Проверки качества данных



В тесном сотрудничестве с Регулятивно-надзорным комитетом LEI (ROC) и выдающими коды LEI организациями фонд GLEIF определил ряд поддающихся измерению критериев качества, чтобы разъяснить концепцию качества данных применительно к базе данных LEI. С этой целью были использованы стандарты, разработанные Международной организацией по стандартизации. Внедрив набор определенных критериев качества, фонд GLEIF установил понятный и объективный стандарт для оценки уровня качества данных в Глобальной системе LEI.

Используемые фондом GLEIF проверки качества данных обеспечивают соответствие предоставленных справочных данных текущим правилам изменения состояния и проверки в Глобальной системе LEI. Эти проверки разработаны на основании форматов Файла общих данных (CDF).

Для каждой проверки качества данных указываются уровень качества, критерий качества, назначение и формальное описание, содержащее предварительное и конечное условие.

Этот набор проверок представляет так называемое Определение правил проверки качества. Каждая проверка проводится по формуле «Если X, тогда Y», в которой X — это предварительное условие проверки, а Y — конечное условие проверки. Если либо запись, либо информация о взаимозависимости или исключении не соответствует предварительному условию проверки, для этой проверки указывается «неприменимо». Если эта информация проходит предварительную проверку и переводится на этап конечной проверки, а полученное значение не соответствует условию Y, такая проверка получает статус «не пройдена»; в противном же случае ей присваивается статус «пройдена».

Определение правил GLEIF

  • Назначение
    Назначение указывается простым языком и содержит общее описание цели конкретной проверки качества данных.
  • Предварительное условие
    Не каждая проверка качества данных может использоваться для всех записей LEI. Например, проверки качества данных применимы только для юридических лиц-подразделений или действующих юридических лиц. Предварительное условие каждой проверки позволяет отфильтровать те записи LEI, которые не соответствуют требованиям для отдельно взятой проверки.
  • Конечное условие
    Для каждой проверки качества данных предусмотрены определенные четкие условия, при которых она не считается пройденной. Это условие применяется только к тем записям LEI, которые соответствуют предварительному условию для отдельно взятой проверки качества данных.

Категории проверок

Проверки качества данных также могут разделяться на категории в зависимости от их характера и типа измеряемых показателей. Например, при проведении метапроверок основное внимание уделяется таким критериям, как охватываемый период, актуальность и доступность, тогда как проверки формата в основном проводятся с использованием Единых форматов файлов данных и встроенной схемы XML. Проверки на уровне записей применяются к элементам в обязательных и дополнительных полях и включают в себя проверки формата и достоверности (например, диапазоны значений).


Модель уровня качества

Для определения общего качества данных в Глобальной системе LEI фонд GLEIF использует специальную модель, позволяющую оценить установленные критерии качества. В зависимости от типа проверок, относящихся к разным категориям, каждая проверка связывается с одним уровнем качества. Уровни качества «Отличный» и «Ожидаемый» могут быть достигнуты только в том случае, если полностью удовлетворены требования для всех более низких уровней качества.

1 - Необходимый:
Этот уровень качества отражает повторяемый успех и включает в себя следующее:

  • Проверки формата
  • Все проверки обязательных элементов

2 - Ожидаемый:
Этот уровень качества отражает контролируемый успех и включает в себя следующее:

  • Проверки достоверности
  • Общие проверки
  • Проверки целостности взаимозависимости
  • Все проверки необязательных элементов

3 - Отличный:
Третий уровень качества — это оптимизированный успех и включает в себя следующее:

  • Проверки представительности
  • Проверки охватываемого периода
  • Все проверки жизненного цикла кода LEI и устаревших записей

Критерии качества данных

Внедрив набор определенных критериев качества, фонд GLEIF установил понятный и объективный стандарт для оценки уровня качества данных в Глобальной системе LEI.

Критерий качества Определение
Точность Степень, до которой в данных отсутствуют поддающиеся обнаружению ошибки; степень до которой элемент данных или набор данных соответствует данным, имеющимся в авторитетном источнике и считающимся верными; а также степень, в которой данные дают верное представление о предмете из реального мира
Доступность Степень, до которой можно просто и без нарушения закона получить элементы данных, обладающие надежными средствами защиты и контроля, предусмотренными в процессе
Полнота Мера наличия всех необходимых данных
Всесторонний характер Присутствуют все требуемые элементы данных; этот критерий гарантирует, что собран весь объем данных, а умышленные ограничения задокументированы
Согласованность Степень, до которой каждая уникальная часть данных сохраняет одно и то же значение в разных наборах данных
Актуальность Степень соответствия установленным правилам в отношении связи между данными (например, непротиворечивости ссылок на первичные или вторичные ключи)
Целостность Присутствуют все требуемые элементы данных; этот критерий гарантирует, что собран весь объем данных, а умышленные ограничения задокументированы
Происхождение История или источник значения свойства
Представительность Характеристика качества данных, касающаяся формата, шаблона, удобочитаемости, а также пригодности данных для использования в намеченных целях
Охватываемый период Степень, до которой данные доступны, когда они необходимы, или концепция качества данных, что включает в себя информацию о том, являются ли данные обновленными и доступными в пределах соответствующих временных рамок; охватываемый период определяется целью и контекстом использования данных
Уникальность Характеристика элемента данных, все отдельные значения которого появляются только один раз
Действительность Мера того, насколько значение данных соответствует его области значений (то есть набору допустимых значений или диапазона значений)

Связанные файлы для загрузки

  • Загрузить в формате PDF: Определение правил проверки качества данных (версия 3.2) (Data Quality Rule Setting v3.2)
  • Загрузить в формате XLS: Определение правил проверки качества данных (версия 3.2) (Data Quality Rule Setting v3.2)
  • Загрузить в формате PDF: Правила изменения состояния и проверки (версия 2.6) (State Transition and Validation Rules v2.6)

Определение правил проверки качества данных GLEIF

Фонд GLEIF стремится обеспечить максимальную прозрачность и поэтому публикует каждое определение проверки качества данных

Подробнее

Отчеты о качестве данных

Фонд GLEIF ежемесячно публикует отчеты о качестве глобальных данных LEI и о качестве данных организаций, выдающих коды LEI

Подробнее

Контроль качества данных

Фонд GLEIF использует самые современные инструменты и технологии для обеспечения постоянного контроля качества

Подробнее