Ekstraksi informasi kartu identitas menggunakan arsitektur multimodal learning berbasis data sintetis

Studi ini menyarankan sistem ekstraksi informasi Kartu Tanda Penduduk (KTP) berbasis pipeline yang menggabungkan data sintetis, praproses citra, pemodelan multimodal, dan OCR. Dataset sintetis digunakan untuk mengatasi keterbatasan akses data nyata yang bersifat sensitif, dengan menghasilkan 1100 citra KTP dalam 11 variasi kondisi seperti pencahayaan, blur, dan distorsi. Tahap praproses meliputi transformasi perspektif, grayscale, adaptive thresholding, dan denoising. Tiga metode berbeda digunakan untuk menilai OCR: grayscale, binerisasi, dan bounding box-guided OCR. Hasil menunjukkan bahwa metode berbasis bounding box memiliki akurasi pembacaan hingga 100%, sementara metode berbasis praproses citra memiliki kinerja yang lebih buruk. Selain itu, ekstraksi entitas berbasis multimodal menggunakan model LayoutXLM dengan menggunakan teks, posisi spasial, dan fitur visual. Semua atribut menerima nilai F1-score 1,00 dari evaluasi.