Mengubah Data Menjadi Peluang: Metric in Motion – Deteksi Duplikat Berbasis AI

Kualitas Data lebih dari sekadar tolok ukur – data tersebut merupakan kebutuhan strategis untuk membangun kepercayaan global, Kepatuhan, dan interoperabilitas. Dalam blog ini, Zornitsa Manolova, Kepala Manajemen Kualitas Data dan Ilmu Data di GLEIF, membahas bagaimana AI semakin meningkatkan deteksi duplikat untuk mendorong identifikasi entitas yang unik dan andal di seluruh Sistem LEI Global.

---

---

Setiap Pengenal Badan Hukum (LEI) bersifat unik dan hanya dapat mewakili satu entitas. Setiap entitas hanya dapat memiliki satu kode LEI. Prinsip-prinsip ini menjadi landasan Sistem Pengenal Badan Hukum Global, yang memungkinkan siapa pun, di mana pun di dunia, untuk mengidentifikasi Badan Hukum dengan keyakinan.

Oleh karena itu, pencegahan duplikat catatan LEI sangat penting untuk menjaga kepercayaan terhadap Sistem LEI Global dan merupakan bagian kunci dari program manajemen kualitas data proaktif GLEIF. Proses deteksi dan perbaikan duplikat yang telah mapan – yang terdiri dari kontrol pencegahan, komitmen dan peninjauan Penerbit LEI, serta prosedur operasional yang jelas – telah memastikan bahwa potensi duplikat hanya mencakup kurang dari 0,2% dari seluruh catatan dalam Sistem LEI Global.

Memperkuat Deteksi Duplikat dengan AI

Seiring dengan terus meningkatnya volume dan kompleksitas data, GLEIF berkomitmen untuk terus meningkatkan proses deteksi duplikat. Secara khusus, AI menghadirkan peluang baru untuk mendorong pendekatan yang lebih akurat, dapat diskalakan, dan konsisten.

Salah satu kontrol utama yang sudah ditingkatkan oleh AI adalah fasilitas ‘Pemeriksaan Duplikat’ milik GLEIF.

Pemeriksaan Duplikat adalah fitur yang memungkinkan Penerbit LEI menilai apakah LEI yang diusulkan dan data referensi terkait mungkin sudah ada di Indeks LEI Global sebelum LEI baru diterbitkan. Selama proses penerbitan, catatan baru dibandingkan dengan baik Indeks LEI lengkap maupun catatan yang belum diterbitkan oleh penerbit LEI lainnya. Hal ini membantu memastikan bahwa, meskipun Badan Hukum yang sama mengajukan permohonan ke beberapa penerbit LEI, potensi duplikat dapat diidentifikasi dan diselesaikan sebelum publikasi.

Dengan dukungan AI, fasilitas ini kini melampaui algoritma sebelumnya, yang terutama mengandalkan pencocokan nama yang tidak tepat. Fasilitas ini memungkinkan deteksi lebih dini, perbandingan yang lebih efektif terhadap catatan yang berpotensi terkait, serta penyelesaian terkoordinasi sebelum publikasi.

Cara Kerjanya

Proses deteksi duplikat yang ditingkatkan mengikuti alur kerja terstruktur yang terdiri dari tiga langkah utama:

• Pra-pemrosesan:
  Catatan yang dikirimkan dibersihkan dan distandarisasi. Hal ini mencakup penghapusan tanda baca, normalisasi spasi, penguraian catatan untuk mengekstrak data referensi yang relevan, dan pembuatan vektor embedding untuk perbandingan selanjutnya.
• Penyaringan:
  Backend yang ditingkatkan dengan AI kemudian mengidentifikasi potensi kecocokan. Proses ini pertama-tama memeriksa kode LEI, kemudian membandingkan otoritas pendaftaran dan pengenal pendaftaran. Elemen data referensi yang dipilih juga dikonversi menjadi vektor embedding dan dicocokkan dengan catatan yang ada di Indeks LEI Global. Catatan dengan potensi kecocokan kemudian diteruskan ke tahap penilaian.
• Penilaian:
  Langkah ini mengevaluasi lebih lanjut kecocokan potensial tersebut untuk mengurangi hasil positif palsu. Langkah ini mempertimbangkan elemen-elemen seperti nama resmi, bentuk hukum, alamat, yurisdiksi, dan tanggal pendirian entitas, dengan penanganan tambahan untuk kategori tertentu seperti dana dan cabang.

Deteksi Duplikat yang Lebih Cepat, Skalabel, dan Lebih Konsisten

Secara keseluruhan, proses ini memperkuat deteksi duplikat dengan memungkinkan:

• Deteksi yang lebih cepat dan lebih dini terhadap pendaftaran duplikat potensial sebelum LEI baru dipublikasikan di Indeks LEI Global.
• Skalabilitas yang lebih baik seiring pertumbuhan Sistem LEI Global, karena penggunaan vektor embedding memungkinkan perbandingan catatan dengan volume besar data referensi LEI yang sudah ada.
• Pendekatan yang konsisten dan terstandarisasi, terlepas dari sifat dan lokasi penerbit LEI (Istilah yang biasanya dipakai dalam komunikasi eksternal).
• Pemeriksaan Kualitas Data yang lebih ketat dengan memeriksa berbagai elemen data, termasuk kode LEI, otoritas pendaftaran, pengenal, nama resmi, alamat, yurisdiksi, dan bentuk hukum.

Memanfaatkan Potensi AI untuk Deteksi Duplikat

Melalui pra-pemrosesan, penyaringan, dan penilaian yang didukung AI, jelas terlihat bagaimana AI memungkinkan fitur Pemeriksaan Duplikat menjadi lebih skalabel, efisien, dan sadar konteks.

Agar AI dapat memberikan hasil yang andal, AI perlu dibangun di atas data yang lengkap dan dapat dipercaya serta didukung oleh Tata Kelola yang jelas. Di GLEIF, tata kelola ini diperkuat melalui manajemen kualitas data yang proaktif, proses validasi yang mapan, serta pemantauan berkelanjutan terhadap Sistem LEI Global. Rekomendasi AI dipadukan dengan pengambilan keputusan yang transparan, penyempurnaan model deteksi secara berkelanjutan, serta keahlian dan pengawasan manusia untuk memastikan hasil yang akurat dan konsisten.

Secara bersama-sama, elemen-elemen ini mendukung komitmen berkelanjutan GLEIF terhadap manajemen kualitas data yang proaktif serta menjaga kepercayaan di seluruh Sistem LEI Global.

---