Przekształcanie danych w możliwości: Metric in Motion – wykrywanie duplikatów oparte na sztucznej inteligencji

Wysokiej jakości dane to coś więcej niż tylko punkt odniesienia – to strategiczna konieczność dla zapewnienia globalnego zaufania, zgodności z przepisami i interoperacyjności. W tym wpisie na blogu Zornitsa Manolova, kierowniczka ds. jakości danych i nauki o danych w GLEIF, analizuje, w jaki sposób sztuczna inteligencja jeszcze bardziej usprawnia wykrywanie duplikatów, promując unikalną i niezawodną identyfikację podmiotów w ramach globalnego systemu LEI.

---

---

Każdy identyfikator podmiotu prawnego (LEI) jest unikalny i może reprezentować tylko jeden podmiot. Każdy podmiot może posiadać tylko jeden kod LEI. Zasady te stanowią podstawę Globalnego Systemu Identyfikatorów Podmiotów Prawnych, umożliwiając każdemu, w dowolnym miejscu na świecie, pewną identyfikację podmiotów prawnych.

Zapobieganie powielaniu rekordów LEI ma zatem zasadnicze znaczenie dla utrzymania zaufania do globalnego systemu LEI i stanowi kluczowy element proaktywnego programu zarządzania jakością danych realizowanego przez GLEIF. Dzięki ugruntowanemu procesowi wykrywania i usuwania duplikatów – obejmującemu środki zapobiegawcze, zaangażowanie i weryfikację Podmiotów nadających LEI oraz jasne procedury operacyjne – potencjalne duplikaty stanowią już mniej niż 0,2% wszystkich rekordów w globalnym systemie LEI.

Wzmocnienie wykrywania duplikatów dzięki sztucznej inteligencji

W miarę jak ilość i złożoność danych stale rosną, GLEIF dąży do dalszego udoskonalania procesów wykrywania duplikatów. W szczególności sztuczna inteligencja stwarza nowe możliwości promowania bardziej dokładnego, skalowalnego i spójnego podejścia.

Jednym z kluczowych mechanizmów kontroli, który jest już ulepszany dzięki sztucznej inteligencji, jest funkcja GLEIF „Kontrola duplikatów”.

„Kontrola duplikatów” to funkcja, która umożliwia podmiotom nadającym LEI ocenę, czy proponowany kod LEI i powiązane dane referencyjne mogą już istnieć w Globalnym Indeksie LEI przed opublikowaniem nowego kodu LEI. W trakcie procesu wydawania nowe rekordy są porównywane zarówno z pełnym Indeksem LEI, jak i z rekordami, które nie zostały jeszcze wydane przez inne Podmioty nadające LEI. Pomaga to zapewnić, że nawet jeśli ten sam podmiot prawny zwróci się do wielu Podmiotów nadających LEI, potencjalne duplikaty mogą zostać zidentyfikowane i usunięte przed publikacją.

Dzięki wsparciu sztucznej inteligencji narzędzie to wykracza obecnie poza możliwości poprzedniego algorytmu, który opierał się głównie na przybliżonym dopasowywaniu nazw. Umożliwia ono wcześniejsze wykrywanie, skuteczniejsze porównywanie potencjalnie powiązanych rekordów oraz skoordynowane rozwiązywanie problemów przed publikacją.

Jak to działa

Ulepszony proces wykrywania duplikatów przebiega zgodnie ze ustrukturyzowanym schematem pracy, który składa się z trzech głównych etapów:

• Przetwarzanie wstępne:
  Przesłany rekord jest oczyszczany i standaryzowany. Obejmuje to usuwanie znaków interpunkcyjnych, normalizację spacji, analizę rekordu w celu wyodrębnienia istotnych danych referencyjnych oraz generowanie wektorów osadzenia do późniejszego porównania.
• Filtrowanie:
  Wspomagany sztuczną inteligencją system backendowy identyfikuje następnie potencjalne dopasowania. Proces ten najpierw sprawdza kod LEI, a następnie porównuje organy rejestrujące i identyfikatory rejestracji. Wybrane elementy danych referencyjnych są również przekształcane w wektorowe osadzenia i porównywane z istniejącymi rekordami w Globalnym Indeksie LEI. Rekordy z potencjalnymi dopasowaniami są następnie przekazywane do etapu oceny punktowej.
• Ocena:
  Ten etap polega na dalszej ocenie potencjalnych dopasowań w celu ograniczenia liczby fałszywych wyników pozytywnych. Uwzględnia on takie elementy, jak nazwa prawna, forma prawna, adres, jurysdykcja oraz data utworzenia podmiotu prawnego, z dodatkową obsługą określonych kategorii, takich jak fundusze i oddziały.

Szybsze, skalowalne i bardziej spójne wykrywanie duplikatów

Proces ten łącznie wzmacnia wykrywanie duplikatów, umożliwiając:

• Szybsze i wcześniejsze wykrywanie potencjalnych duplikatów rejestracji, zanim nowy kod LEI zostanie opublikowany w Globalnym Indeksie LEI.
• Lepszej skalowalności w miarę rozwoju globalnego systemu LEI, ponieważ wykorzystanie osadzeń wektorowych umożliwia porównywanie rekordów z dużymi zbiorami istniejących danych referencyjnych LEI.
• Spójne i znormalizowane podejście, niezależne od charakteru i lokalizacji Podmiotów nadających LEI.
• Większą kontrolę jakości danych poprzez sprawdzanie wielu elementów danych, w tym kodu LEI, organu rejestrującego, identyfikatorów, nazwy prawnej, adresu, jurysdykcji i formy prawnej.

Wykorzystanie potencjału sztucznej inteligencji do wykrywania duplikatów

Dzięki wspieranym przez sztuczną inteligencję procesom wstępnego przetwarzania, filtrowania i punktacji jasne jest, w jaki sposób sztuczna inteligencja sprawia, że funkcja Kontrola duplikatów staje się bardziej skalowalna, wydajna i uwzględniająca kontekst.

Aby sztuczna inteligencja dostarczała wiarygodnych wyników, musi opierać się na kompletnych i wiarygodnych danych oraz być wspierana przez jasne zasady zarządzania. W GLEIF zasady te są wzmacniane poprzez proaktywne zarządzanie jakością danych, ustalone procesy walidacji oraz ciągłe monitorowanie Globalnego Systemu LEI. Rekomendacje sztucznej inteligencji są połączone z przejrzystym procesem podejmowania decyzji, ciągłym udoskonalaniem modeli wykrywania oraz ludzką wiedzą ekspercką i nadzorem, co zapewnia dokładne i spójne wyniki.

Wszystkie te elementy razem wspierają nieustanne zaangażowanie GLEIF w proaktywne zarządzanie jakością danych oraz utrzymywanie zaufania w ramach globalnego systemu LEI.

---