데이터를 기회로 전환하기: ‘Metric in Motion’ – AI 기반 중복 데이터 탐지

고품질 데이터는 단순한 벤치마크를 넘어, 글로벌 신뢰, 컴플라이언스 및 상호 운용성을 위한 전략적 필수 요소입니다. 이 블로그에서 GLEIF의 데이터 품질 관리 및 데이터 과학 책임자인 조르니차 마놀로바(Zornitsa Manolova)는 AI가 중복 탐지 기능을 어떻게 한층 더 강화하여 글로벌 LEI 시스템 전반에 걸쳐 고유하고 신뢰할 수 있는 법인 식별을 촉진하는지 살펴봅니다.

---

---

모든 법인식별기호(LEI)는 고유하며 단 하나의 법인만을 나타낼 수 있습니다. 또한 각 법인은 하나의 법인식별기호 코드만을 보유할 수 있습니다. 이러한 원칙은 글로벌법인식별기호시스템의 근간을 이루며, 전 세계 어디에서나 누구나 확신을 가지고 법인을 식별할 수 있도록 합니다.

따라서 중복 LEI 기록을 방지하는 것은 글로벌 LEI 시스템에 대한 신뢰를 유지하는 데 필수적이며, GLEIF의 선제적 데이터 품질 관리 프로그램의 핵심 요소입니다. 예방적 통제, LEI 발급기관의 약속 및 검토, 명확한 운영 절차로 구성된 잘 정립된 중복 탐지 및 시정 프로세스 덕분에, 현재 글로벌 LEI 시스템 내 전체 기록 중 잠재적 중복 기록의 비율은 0.2% 미만에 그치고 있습니다.

AI를 활용한 중복 탐지 강화

데이터 양과 복잡성이 지속적으로 증가함에 따라, GLEIF는 중복 탐지 프로세스를 더욱 개선하기 위해 최선을 다하고 있습니다. 특히, AI는 보다 정확하고 확장 가능하며 일관된 접근 방식을 촉진할 새로운 기회를 제공합니다.

AI를 통해 이미 강화되고 있는 핵심 통제 수단 중 하나는 GLEIF의 ‘중복검사’ 기능입니다.

'중복검사' 기능은 LEI 발급 기관이 새로운 LEI가 발행되기 전에 제안된 LEI와 관련 참조 데이터가 글로벌 LEI 색인에 이미 존재하는지 여부를 평가할 수 있게 해줍니다. 발행 과정에서 신규 기록은 전체 LEI 인덱스는 물론, 다른 LEI 발급기관에서 아직 발행하지 않은 기록과도 비교됩니다. 이를 통해 동일한 법인이 여러 LEI 발급기관에 신청하더라도, 발행 전에 잠재적인 중복 기록을 식별하고 해결할 수 있습니다.

AI를 통해 이 기능은 주로 퍼지 이름 일치에 의존하던 기존 알고리즘을 뛰어넘게 되었습니다. 이를 통해 잠재적으로 관련된 기록을 더 조기에 탐지하고, 더 효과적으로 비교하며, 발행 전에 조율된 해결이 가능해졌습니다.

작동 원리

개선된 중복 탐지 프로세스는 다음 세 가지 주요 단계로 구성된 체계적인 워크플로를 따릅니다:

• 전처리:
  제출된 기록을 정리하고 표준화합니다. 여기에는 구두점 제거, 공백 정규화, 관련 참조 데이터를 추출하기 위한 기록 분석, 그리고 향후 비교를 위한 벡터 임베딩 생성이 포함됩니다.
• 필터링:
  AI가 강화된 백엔드가 잠재적 일치 항목을 식별합니다. 이 과정에서는 먼저 LEI 코드를 확인한 다음, 등록 기관 및 등록 식별자를 비교합니다. 선별된 참조 데이터 요소도 벡터 임베딩으로 변환되어 글로벌 LEI 색인(글로벌 LEI 인덱스)의 기존 기록과 대조됩니다. 잠재적 일치 항목이 있는 기록은 이후 점수 산정 단계로 전달됩니다.
• 점수 산정:
  이 단계에서는 오탐을 줄이기 위해 이러한 잠재적 일치 항목을 추가로 평가합니다. 법적 명칭, 법적 형태, 주소, 관할권, 법인 설립일 등의 요소를 고려하며, 펀드나 지점과 같은 특정 범주에 대해서는 추가적인 처리가 이루어집니다.

더 빠르고, 확장 가능하며, 일관성 높은 중복 탐지

이러한 프로세스는 다음을 가능하게 함으로써 중복 감지 기능을 강화합니다:

• 새로운 LEI가 글로벌 LEI 색인에 게시되기 전에 잠재적 중복 등록을 더 빠르고 조기에 탐지합니다.
• 벡터 임베딩 기술을 활용하여 방대한 양의 기존 LEI 참조 데이터와 기록을 비교할 수 있게 됨으로써, 글로벌 LEI 시스템이 지속적으로 성장함에 따라 확장성이 향상됩니다.
• LEI 발급 기관의 성격 및 위치와 무관한 일관되고 표준화된 접근 방식.
• LEI 코드, 등록 기관, 식별자, 법적 명칭, 주소, 관할권 및 법적 형태를 포함한 여러 데이터 요소를 확인함으로써 데이터 품질 관리 강화.

중복 감지를 위한 AI의 잠재력 활용

AI가 지원하는 전처리, 필터링 및 점수 산정을 통해, AI가 중복검사 기능을 더욱 확장 가능하고 효율적이며 상황에 맞게 인식할 수 있게 하는 방식이 분명해집니다.

AI가 신뢰할 수 있는 결과를 제공하려면 완전하고 신뢰할 수 있는 데이터를 기반으로 구축되어야 하며, 명확한 거버넌스의 지원을 받아야 합니다. GLEIF에서는 선제적인 데이터 품질 관리, 확립된 검증 프로세스, 그리고 글로벌 LEI 시스템에 대한 지속적인 모니터링을 통해 이러한 거버넌스를 강화하고 있습니다. AI의 권고 사항은 투명한 의사 결정, 탐지 모델의 지속적인 개선, 그리고 인간의 전문 지식 및 감독과 결합되어 정확하고 일관된 결과를 보장합니다.

이러한 요소들은 종합적으로 GLEIF가 선제적인 데이터 품질 관리와 글로벌 LEI 시스템 전반에 걸친 신뢰 유지를 위해 지속적으로 노력하고 있음을 뒷받침합니다.

---