Lewati ke konten
FrAIFlow

Solusi

Mengapa teks yang terlihat sama tidak cocok

Dua salinan café dapat terlihat identik tetapi tetap tidak sama saat dibandingkan. Satu mungkin berakhir dengan U+00E9; yang lain dengan U+0065 diikuti tanda aksen penggabung U+0301. Aksennya tidak salah. Urutan Unicode tersimpan berbeda, dan aturan perbandingan perlu memperhitungkan perbedaan itu.

Pertanyaan Stack Overflow tahun 2019 menjelaskan teks Vietnam yang terlihat mirip tetapi gagal dalam pemeriksaan kesamaan. Jawabannya memakai bentuk normalisasi bersama. Pengujian peramban tersimpan kami memakai pasangan café sintetis yang berbeda: kesamaan langsung false, sedangkan perbandingan kedua bentuk NFC menghasilkan true. Ini bukan reproduksi aplikasi pelapor.

Periksa dahulu satu pasangan yang tidak cocok

Sebelum mengubah seluruh spreadsheet atau basis data, salin hanya dua nilai yang seharusnya cocok ke skrip lokal kecil. Gunakan teks contoh tidak sensitif jika nilai aslinya mengidentifikasi pelanggan. Melihat titik kode berdampingan jauh lebih berguna daripada mengetik ulang aksen berkali-kali.

const typed = "caf\u00E9";
const pasted = "cafe\u0301";
const points = s => Array.from(s, c =>
  "U+" + c.codePointAt(0).toString(16).toUpperCase().padStart(4, "0")
).join(" ");
console.log(points(typed));  // U+0063 U+0061 U+0066 U+00E9
console.log(points(pasted)); // U+0063 U+0061 U+0066 U+0065 U+0301
console.log(typed === pasted); // false
const matches = typed.normalize("NFC") === pasted.normalize("NFC");
console.log(matches); // true

Baca kedua urutan dari kiri ke kanan. Di sini tiga huruf pertama sama; hanya representasi huruf terakhir beraksen yang berbeda. Itulah situasi yang dirancang untuk ditangani NFC. Ilustrasi di bawah memperlihatkan kedua bentuk penyimpanan; tanda tambahan adalah aksen gabungan, bukan huruf tambahan yang tidak diinginkan.

Untuk perbandingan pencarian atau impor, buat kunci ternormalisasi terpisah dan pertahankan nilai asli untuk tampilan. Normalisasi kedua sisi perbandingan, termasuk nilai yang sudah ada dalam basis data. Menormalkan masukan baru saja membuat rekaman lama tidak konsisten. Sebelum menerapkan aturan ke semua rekaman, periksa beberapa pasangan yang seharusnya cocok serta beberapa yang harus tetap berbeda.

Jika hasilnya masih false, periksa spasi akhir, spasi tanpa pemisah, atau alfabet berbeda. Jangan langsung menghapus semua aksen atau tanda baca. Itu kebijakan pencocokan tambahan yang bisa menyatukan nama berbeda. Jika kelompok duplikat yang diusulkan memengaruhi akun, pembayaran, atau identitas, tampilkan untuk ditinjau, bukan menganggap kemiripan visual sebagai bukti.

Pisahkan perbandingan dari identitas

Terlihat seperti café / ... U+00E9 / 4 unit kode UTF-16
Ilustrasi buatan penulis, bukan tangkapan layar aplikasi.

Kecocokan berdasarkan NFC tidak membuktikan dua akun milik satu orang. Pratinjau kelompok duplikat yang diusulkan dan tentukan arti kecocokan bagi data tersebut. Jangan menambahkan normalisasi pada kata sandi, tanda tangan, atau token opak sebagai pembersihan sampingan: sistem tersebut mungkin mensyaratkan aturan byte atau karakter yang persis.

Mengapa tidak memakai NFKC di semua tempat?

NFKC menambahkan pemetaan kompatibilitas. Dalam pengujian tercatat, ligatur U+FB00 tetap sama dengan NFC tetapi menjadi ff dengan NFKC. Ini dapat membantu kunci pencarian yang sengaja longgar, tetapi menghilangkan perbedaan yang dibutuhkan pada tulisan asli. Pilih kebijakannya sebelum memilih transformasinya.

Normalisasi juga tidak menyelesaikan karakter mirip: Latin a dan Cyrillic U+0430 tetap tidak sama dalam contoh. Normalisasi juga tidak menentukan batas karakter situs. Kedua bentuk café memiliki 4 dan 5 unit kode UTF-16 JavaScript; segmentasi grafem atas kata terurai menghasilkan 4 kelompok yang dilihat pembaca. Itu pengukuran berbeda.

Dua bentuk café berukuran 4 dan 5 unit kode UTF-16; keduanya cocok setelah dinormalisasi ke NFC.
Ilustrasi pendukung, bukan tangkapan layar aplikasi.
Hasil uji Chrome membandingkan titik kode café: perbandingan asli false dan perbandingan NFC true.
Hasil pengujian lokal tersimpan. Buka gambar untuk memeriksa bukti aslinya.
Sumber, contoh, dan bacaan lanjutan