Transformar dados em oportunidades: Metric in Motion – Detecção de duplicados com recurso à IA

Dados de alta qualidade são mais do que um ponto de referência – são uma necessidade estratégica para a confiança global, a Conformidade e a interoperabilidade. Neste blogue, Zornitsa Manolova, Diretora de Qualidade de Dados e Ciência de Dados na GLEIF, explora como a IA está a melhorar ainda mais a deteção de duplicados para promover a identificação única e fiável de entidades em todo o Sistema Global de LEI.

---

---

Cada Identificador de Entidade Jurídica (LEI) é único e pode representar apenas uma entidade. Cada entidade pode possuir apenas um código LEI. Estes princípios estão na base do Global Legal Entity Identifier System, permitindo que qualquer pessoa, em qualquer parte do mundo, identifique Entidades Jurídicas com confiança.

Evitar registos LEI duplicados é, por isso, essencial para preservar a confiança no Sistema Global de LEI e constitui uma parte fundamental do programa proativo de Gestão de Qualidade de Dados da GLEIF. Um processo bem estabelecido de deteção e correção de duplicados — que inclui controlos preventivos, o compromisso e a revisão por parte dos Emissores de LEIs, bem como procedimentos operacionais claros — já faz com que as potenciais duplicatas representem menos de 0,2 % de todos os registos no Sistema Global de LEI.

Reforçar a deteção de duplicados com IA

À medida que os volumes e a complexidade dos dados continuam a aumentar, a GLEIF está empenhada em introduzir novas melhorias nos processos de deteção de duplicações. Em particular, a IA apresenta novas oportunidades para promover uma abordagem mais precisa, escalável e consistente.

Um controlo fundamental que já está a ser aprimorado pela IA é a funcionalidade «Verificação de registros duplicados» da GLEIF.

A «Verificação de registros duplicados» é uma funcionalidade que permite aos emissores de LEIs avaliar se o LEI proposto e os dados de referência associados já podem existir no Global LEI Index antes da publicação de um novo LEI. Durante o processo de emissão, os novos registos são comparados tanto com o Índice LEI completo como com registos que ainda não foram emitidos por outros emissores de LEIs. Isto ajuda a garantir que, mesmo que a mesma Entidade Jurídica se dirija a vários emissores de LEIs, os potenciais duplicados possam ser identificados e resolvidos antes da publicação.

Com o apoio da IA, esta funcionalidade vai agora além do algoritmo anterior, que se baseava principalmente na correspondência aproximada de nomes. Permite uma deteção mais precoce, uma comparação mais eficaz de registos potencialmente relacionados e uma resolução coordenada antes da publicação.

Como funciona

O processo melhorado de deteção de duplicados segue um fluxo de trabalho estruturado que consiste em três etapas principais:

• Pré-processamento:
  O registo submetido é limpo e normalizado. Isto inclui a remoção de pontuação, a normalização de espaços, a análise do registo para extrair dados de referência relevantes e a geração de vetores de incorporação para comparação posterior.
• Filtragem:
  Um backend otimizado por IA identifica, em seguida, possíveis correspondências. O processo verifica primeiro o código LEI e, depois, compara as autoridades de registo e os identificadores de registo. Os elementos de dados de referência selecionados são também convertidos em representações vetoriais e comparados com registos existentes no Global LEI Index. Os registos com possíveis correspondências são, então, encaminhados para a fase de pontuação.
• Pontuação:
  Esta etapa avalia mais aprofundadamente estas correspondências potenciais para reduzir os falsos positivos. Tem em conta elementos como o nome legal, a forma jurídica, a morada, a jurisdição e a data de constituição da entidade, com um tratamento adicional para categorias específicas, tais como fundos e sucursais.

Detecção de duplicados mais rápida, escalável e consistente

Em conjunto, este processo reforça a deteção de duplicados, permitindo:

• Uma deteção mais rápida e precoce de potenciais registos duplicados antes de um novo LEI ser publicado no Global LEI Index.
• Maior escalabilidade à medida que o Sistema Global de LEI continua a crescer, uma vez que a utilização de incorporações vetoriais permite comparar registos com grandes volumes de dados de referência de LEI existentes.
• Uma abordagem consistente e padronizada, independente da natureza e localização dos emissores de LEIs.
• Controlos da Qualidade de Dados mais rigorosos, através da verificação de múltiplos elementos de dados, incluindo o código LEI, a autoridade de registo, os identificadores, a denominação legal, a morada, a jurisdição e a forma jurídica.

Aproveitar o potencial da IA para a deteção de duplicados

Através do pré-processamento, filtragem e pontuação apoiados pela IA, torna-se evidente como a IA está a permitir que a funcionalidade «Verificação de registros duplicados» se torne mais escalável, eficiente e sensível ao contexto.

Para que a IA forneça resultados fiáveis, tem de se basear em dados completos e fiáveis e ser apoiada por uma Governança clara. Na GLEIF, esta governança é reforçada através de uma gestão proativa da Qualidade de Dados, de processos de validação estabelecidos e da monitorização contínua do Sistema Global de LEI. As recomendações da IA são combinadas com uma tomada de decisões transparente, o aperfeiçoamento contínuo dos modelos de deteção e a experiência e supervisão humanas, para garantir resultados precisos e consistentes.

Em conjunto, estes elementos apoiam o compromisso contínuo da GLEIF com a gestão proativa da qualidade de dados e com a manutenção da confiança em todo o Sistema Global de LEI.

---