Siirry sisältöön
FrAIFlow

Ratkaisut

Miksi samalta näyttävät tekstit eivät täsmää

Kaksi café-sanaa voivat näyttää samoilta mutta olla vertailussa erisuuria. Toinen voi päättyä merkkiin U+00E9, toinen merkkeihin U+0065 ja yhdistävä U+0301. Aksentti ei ole väärä. Tallennetut Unicode-jonot poikkeavat toisistaan, ja vertailusäännön pitää huomioida tämä ero.

Vuoden 2019 Stack Overflow -kysymyksessä ulkoisesti samankaltainen vietnaminkielinen teksti ei läpäissyt yhtäsuuruusvertailua. Vastauksessa käytettiin yhteistä normalisointimuotoa. Tallennettu selaintestimme käyttää erillistä synteettistä café-paria: suora vertailu antoi false, molempien NFC-muotojen vertailu true. Se ei toista ilmoittajan sovellusta.

Tutki ensin yksi poikkeava pari

Ennen koko laskentataulukon tai tietokannan muuttamista kopioi vain kaksi toisiaan vastaavaa arvoa pieneen paikalliseen skriptiin. Käytä vaaratonta esimerkkitekstiä, jos oikeat arvot tunnistavat asiakkaita. Koodipisteiden rinnakkainen tarkastelu auttaa paljon enemmän kuin aksentin toistuva kirjoittaminen uudelleen.

const typed = "caf\u00E9";
const pasted = "cafe\u0301";
const points = s => Array.from(s, c =>
  "U+" + c.codePointAt(0).toString(16).toUpperCase().padStart(4, "0")
).join(" ");
console.log(points(typed));  // U+0063 U+0061 U+0066 U+00E9
console.log(points(pasted)); // U+0063 U+0061 U+0066 U+0065 U+0301
console.log(typed === pasted); // false
const matches = typed.normalize("NFC") === pasted.normalize("NFC");
console.log(matches); // true

Lue molemmat jonot vasemmalta oikealle. Tässä kolme ensimmäistä kirjainta vastaavat toisiaan; vain viimeisen aksentillisen kirjaimen esitystapa eroaa. Juuri tähän NFC on tarkoitettu. Alla oleva kuva näyttää molemmat tallennusmuodot: ylimääräinen merkki on yhdistävä aksentti, ei tarpeeton lisäkirjain.

Luo haku- tai tuontivertailua varten erillinen normalisoitu avain ja säilytä alkuperäinen näyttöarvo. Normalisoi vertailun molemmat puolet, myös tietokannassa jo olevat arvot. Pelkän uuden syötteen normalisointi jättää vanhat tietueet epäyhtenäisiksi. Testaa ennen laajaa käyttöönottoa pareja, joiden pitää täsmätä, sekä pareja, joiden pitää pysyä erillisinä.

Jos tulos on edelleen false, etsi lopusta välilyöntiä, sitovaa välilyöntiä tai eri aakkoston merkkiä. Älä poista tämän vuoksi kaikkia aksentteja tai välimerkkejä. Ne ovat erillisiä vastaavuussääntöjä ja voivat yhdistää eri nimiä. Jos ehdotettu kaksoiskappaleryhmä koskee tilejä, maksuja tai henkilöllisyyttä, näytä se tarkistettavaksi äläkä pidä ulkoista samankaltaisuutta todisteena.

Älä muuta tunnisteita pelkän vertailun vuoksi

Näyttää sanalta café / ... U+00E9 / 4 UTF-16-koodiyksikköä
Tekijän laatima havainnekuva, ei sovelluksen kuvakaappaus.

NFC-vastaavuus ei todista kahden tilin kuuluvan samalle henkilölle. Esikatsele ehdotetut kaksoiskappaleryhmät ja määritä, mitä vastaavuus tarkoittaa aineistossasi. Älä lisää normalisointia salasanoihin, allekirjoituksiin tai läpinäkymättömiin tunnisteisiin sivuvaikutuksena: ne voivat vaatia täsmällistä tavu- tai merkkivastaavuutta.

Miksi NFKC:tä ei käytetä kaikkialla?

NFKC lisää yhteensopivuusmuunnoksia. Tallennetussa testissä ligatuuri U+FB00 säilyi NFC:ssä mutta muuttui NFKC:ssä muotoon ff. Tästä voi olla hyötyä tarkoituksella väljässä hakuavaimessa, mutta samalla voi kadota alkuperäisessä kirjoituksessa tarvittava ero. Valitse vastaavuussääntö ennen muunnosta.

Normalisointi ei ratkaise samannäköisiä eri merkkejä: latinalainen a ja kyrillinen U+0430 pysyivät esimerkissä erisuurina. Se ei myöskään määritä sivuston merkkirajaa. Café-muotojen JavaScript-pituudet olivat 4 ja 5 UTF-16-koodiyksikköä; hajotetun sanan grafeemijako tuotti 4 lukijan hahmottamaa ryhmää. Nämä ovat eri mittauksia.

Havainnekuva: Kahdessa café-merkkijonossa on 4 ja 5 UTF-16-koodiyksikköä. Jonot ovat erilaiset ennen NFC-normalisointia mutta samat sen jälkeen.
Kahdessa café-merkkijonossa on 4 ja 5 UTF-16-koodiyksikköä. Jonot ovat erilaiset ennen NFC-normalisointia mutta samat sen jälkeen. Kaavio havainnollistaa tallennettua testiä; se ei ole sovelluksen kuvakaappaus.
Tallennettu synteettinen testitulos: Kahdessa café-merkkijonossa on 4 ja 5 UTF-16-koodiyksikköä. Jonot ovat erilaiset ennen NFC-normalisointia mutta samat sen jälkeen.
Kahdessa café-merkkijonossa on 4 ja 5 UTF-16-koodiyksikköä. Jonot ovat erilaiset ennen NFC-normalisointia mutta samat sen jälkeen. Kuva näyttää aiemman paikallisen testin, ei uutta suoritusta tai käyttäjän sovellusta.
Lähteet, esimerkit ja lisälukeminen