Hopp til innholdet
FrAIFlow

Solutions

Hvorfor tekst som ser lik ut, ikke samsvarer

To kopier av café kan se identiske ut og likevel være ulike ved sammenligning. Den ene kan slutte med U+00E9, den andre med U+0065 etterfulgt av kombinerende U+0301. Aksenten er ikke feil. De lagrede Unicode-sekvensene er forskjellige, og sammenligningsregelen må ta hensyn til det.

Et Stack Overflow-spørsmål fra 2019 beskrev vietnamesisk tekst som så lik ut, men ikke besto likhetskontroller. Svaret brukte en felles normaliseringsform. Vår lagrede nettlesertest bruker et annet, syntetisk café-par: Direkte likhet var false, mens sammenligning av begge NFC-formene ga true. Dette er ikke en gjenskaping av rapportørens program.

Undersøk først ett par som ikke samsvarer

Før du endrer et helt regneark eller en database, kopierer du bare de to verdiene som burde samsvare, til et lite lokalt skript. Bruk harmløs eksempeltekst hvis de virkelige verdiene identifiserer kunder. Å se kodepunktene ved siden av hverandre er langt nyttigere enn å skrive inn en aksent om og om igjen.

const typed = "caf\u00E9";
const pasted = "cafe\u0301";
const points = s => Array.from(s, c =>
  "U+" + c.codePointAt(0).toString(16).toUpperCase().padStart(4, "0")
).join(" ");
console.log(points(typed));  // U+0063 U+0061 U+0066 U+00E9
console.log(points(pasted)); // U+0063 U+0061 U+0066 U+0065 U+0301
console.log(typed === pasted); // false
const matches = typed.normalize("NFC") === pasted.normalize("NFC");
console.log(matches); // true

Les de to sekvensene fra venstre mot høyre. Her er de første tre bokstavene like; bare representasjonen av siste bokstav med aksent er forskjellig. Det er dette NFC er laget for å håndtere. Illustrasjonen nedenfor synliggjør de to lagringsformene. Det ekstra merket er en kombinerende aksent, ikke en uønsket ekstra bokstav.

For søk eller importsammenligning lager du en separat normalisert nøkkel og beholder originalverdien til visning. Normaliser begge sider av sammenligningen, også verdier som allerede ligger i databasen. Normalisering av bare nye inndata gjør gamle poster inkonsistente. Før regelen brukes på alle poster, kontrollerer du noen par som skal samsvare og noen som må forbli forskjellige.

Er resultatet fortsatt false, ser du etter et avsluttende mellomrom, et hardt mellomrom eller et annet alfabet. Ikke svar med å fjerne alle aksenter eller tegnsetting. Det er ekstra sammenligningsregler som kan slå sammen forskjellige navn. Berører en foreslått duplikatgruppe kontoer, betalinger eller identitet, bør den vises for gjennomgang i stedet for å behandle visuell likhet som bevis.

Ikke endre identifikatorer bare for å sammenligne tekst

Ser ut som café / ... U+00E9 / 4 UTF-16-kodeenheter
Egenlaget forklaring, ikke et skjermbilde fra et program.

Samsvar under NFC beviser ikke at to kontoer tilhører samme person. Forhåndsvis foreslåtte duplikatgrupper og avgjør hva samsvar betyr for dataene. Ikke legg normalisering til passord, signaturer eller ugjennomsiktige token som tilfeldig opprydding. Slike systemer kan kreve nøyaktige byte- eller tegnavtaler.

Hvorfor ikke bruke NFKC overalt?

NFKC legger til kompatibilitetsmappinger. I den registrerte testen var ligaturen U+FB00 uendret under NFC, men ble ff under NFKC. Det kan hjelpe en bevisst romslig søkenøkkel, men fjerne et skille som må bevares i originalteksten. Velg regelen før du velger omformingen.

Normalisering løser heller ikke problemet med tegn som ligner hverandre: Latinsk a og kyrillisk U+0430 forble ulike i eksemplet. Den definerer heller ikke et nettsteds tegngrense. De to café-formene målte 4 og 5 JavaScript UTF-16-kodeenheter. Grafemsegmentering av det dekomponerte ordet ga 4 leserrettede grupper. Dette er forskjellige mål.

Forklarende diagram: To café-strenger har henholdsvis 4 og 5 UTF-16-kodeenheter. De er ulike før NFC-normalisering, men like etterpå.
To café-strenger har henholdsvis 4 og 5 UTF-16-kodeenheter. De er ulike før NFC-normalisering, men like etterpå. Diagrammet oppsummerer den lagrede testen; det er ikke et programskjermbilde.
Lagret syntetisk testresultat: To café-strenger har henholdsvis 4 og 5 UTF-16-kodeenheter. De er ulike før NFC-normalisering, men like etterpå.
To café-strenger har henholdsvis 4 og 5 UTF-16-kodeenheter. De er ulike før NFC-normalisering, men like etterpå. Bildet viser en tidligere lokal test, ikke en ny kjøring eller brukerens program.
Kilder, eksempler og videre lesning