本文へスキップ
FrAIFlow

トラブル解決

同じに見える文字列が一致しない理由

二つのcaféが同じに見えても、比較すると不一致になることがあります。一方の末尾はU+00E9、もう一方はU+0065に結合文字U+0301が続いているのかもしれません。アクセントが間違っているわけではなく、保存されているUnicodeの並びが異なるのです。比較のルールも、この違いを考慮する必要があります。

2019年のStack Overflowには、見た目が似たベトナム語の文字列が等価比較で一致しないという相談がありました。回答では同じ正規化形式にそろえる方法が示されています。保存済みのブラウザーテストでは、これとは別に作成したcaféの組を使用しました。そのままの比較はfalse、両方をNFCにしてからの比較はtrueです。相談者のアプリケーションを再現したものではありません。

まず、不一致になる一組だけを調べる

表計算ファイルやデータベースを一括変更する前に、一致するはずの二つの値だけを小さなローカルスクリプトへコピーしましょう。顧客を特定できる値なら、無害なサンプルに置き換えます。アクセントを何度も打ち直すより、コードポイントを並べて見たほうが原因をつかみやすくなります。

const typed = "caf\u00E9";
const pasted = "cafe\u0301";
const points = s => Array.from(s, c =>
  "U+" + c.codePointAt(0).toString(16).toUpperCase().padStart(4, "0")
).join(" ");
console.log(points(typed));  // U+0063 U+0061 U+0066 U+00E9
console.log(points(pasted)); // U+0063 U+0061 U+0066 U+0065 U+0301
console.log(typed === pasted); // false
const matches = typed.normalize("NFC") === pasted.normalize("NFC");
console.log(matches); // true

二つの並びを左から読み比べてください。この例では最初の3文字は同じで、最後のアクセント付き文字の表し方だけが異なります。NFCが扱うのは、このような違いです。下の説明図は二通りの保存形式を見えるようにしたものです。追加の記号は結合アクセントであり、不要な余分の文字ではありません。

検索やインポート時の照合では、表示用の元データを残し、正規化した照合用キーを別に作りましょう。データベース内の値も含め、比較する両側を正規化します。新しい入力だけを変換すると、古いレコードとの不整合が残ります。全件に適用する前に、一致すべき組と、異なるまま残すべき組の両方を試してください。

それでもfalseなら、末尾の空白、改行しない空白、別のアルファベットが混じっていないか調べます。だからといってアクセントや句読点を全部削除しないでください。それは別の照合ルールであり、異なる名前を同一視するおそれがあります。重複候補がアカウント、決済、本人確認に関係する場合、見た目の類似を証明とせず、人が確認できるよう提示しましょう。

文字の一致と、本人の同一性を分けて考える

同じcaféの見た目でも、U+00E9を使う表現はUTF-16コード単位で4になる
筆者作成の説明図です。アプリケーションの画面キャプチャではありません。

NFCで一致しても、二つのアカウントが同じ人物のものとは証明できません。重複候補を事前に確認し、そのデータで何を一致とみなすか決めてください。パスワード、署名、意味を解釈しないトークンに、掃除のつもりで正規化を追加してはいけません。バイト列や文字列の完全一致が必要な仕組みだからです。

すべてNFKCにしてはいけないのか

NFKCでは互換性のための変換も行います。記録されたテストでは、合字U+FB00はNFCで変わらず、NFKCではffになりました。あえて広く一致させる検索キーには役立ちますが、元の表記に必要な区別を失う場合もあります。変換方法を選ぶ前に、照合方針を決めましょう。

正規化は見た目の似た別文字も解決しません。テストではラテン文字のaとキリル文字U+0430は不一致のままでした。また、Webサイトの文字数制限を定義するものでもありません。二通りのcaféはJavaScriptのUTF-16コード単位では4と5で、分解形を字形のまとまりで区切ると読者が認識する4文字になりました。それぞれ異なる数え方です。

同じに見える文字列が一致しない理由の補足資料(本文の説明を参照)
補足説明図です。アプリケーションのスクリーンショットではありません。
同じに見える文字列が一致しない理由の補足資料(本文の説明を参照)
保存済みのローカルテスト結果です。画像を開くと元の検証資料を確認できます。
出典・事例・関連資料