正しく見えるJSONが先頭の文字で失敗する理由
見た目は正しいJSONオブジェクトなのに、位置0でエラーになることがあります。最初に見える開き波括弧の前に、見えないU+FEFFが入っているのかもしれません。修復を試す前に元データを残してください。HTMLのログインページ、空の応答、文字コードを誤って読み取ったファイルなら、別の対処が必要です。
2017年のStack Overflowの相談では、同様のNode.jsエラーの原因が10進数65279、つまりU+FEFFだと分かりました。これとは別に、保存済みのローカルブラウザーテストでは、人工的にU+FEFFを付けた{"ok":true}が失敗し、先頭のマーカーだけを除くと解析できました。画像はその手元のテスト記録であり、相談者のファイルを撮影したものではありません。
安全に試せる修復手順
唯一の書き出しファイルを直接編集せず、コピーを作って始めましょう。Webリクエストから取得した内容なら、まずHTTPステータスとContent-Typeを確認します。先頭が<!doctype html>のログインページなら、必要なのはJSONの掃除ではなく認証の修正です。ローカルファイルは文字コードを確認できるエディターで開き、調査中は元ファイルに上書き保存しないでください。
ファイルをJavaScriptの文字列textに読み取った後、自分のインポート処理で以下の小さな関数を使います。既知の先頭マーカーを一つだけ受け入れ、ほかの内容には触れません。
function parseJsonText(text) {
if (typeof text !== "string") throw new TypeError("Expected text");
const hadBOM = text.charCodeAt(0) === 0xFEFF;
const cleaned = hadBOM ? text.slice(1) : text;
return { value: JSON.parse(cleaned), removedLeadingBOM: hadBOM };
}
const sample = '\uFEFF{"ok":true,"name":"한글"}';
const result = parseJsonText(sample);
console.log(result.removedLeadingBOM); // true
console.log(result.value.ok); // true
console.log(result.value.name); // 한글「エラーが消えた」だけでは確認不足です。必要なプロパティが存在し、日本語などの文字が正しく読めるかも確かめましょう。通常のJSONもこの関数に渡し、マーカーを除去したと報告せずに解析できることを確認します。空の入力や壊れたオブジェクトは、引き続き例外になるべきです。エラーを空のオブジェクトに置き換えると正常なデータと誤認されるため、呼び出し側に伝えてください。
先頭のコードポイントがU+FEFFでなければ、この修復は中止してください。文字コードを誤って読み取ったファイルには、代替文字や一文字おきのNULが含まれることがあります。書き出した側が指定した文字コードで開き直すか、UTF-8で再出力してもらいましょう。文字を削除しても、誤って解釈したバイト列は復元できません。
バイト列と見えない文字は別のもの
TextDecoder("utf-8")は通常、先頭のUTF-8 BOMを取り除きます。ignoreBOMは名前から想像しにくい設定ですが、trueにするとマーカーを復号後の文字列に含めます。今回の試験バイト列EF BB BF 7B 7Dは、既定の動作で{}になりました。文字コードを自動判定する機能ではありません。
書き出した側の処理も確認する
別のPowerShellの相談では、読み取り時の文字コードの扱いに問題がありました。Windows PowerShellのOut-FileやリダイレクトはUTF-16LEで出力することがあり、新しいPowerShellでは動作が異なります。非ASCII文字を削除しても不一致は直らず、正しい名前を壊すおそれがあります。生成したコマンドとバージョンを確認し、正しい文字コードで読み取るか再出力してください。その相談者の作業環境は、今回のテストでは再現していません。
RFC 8259では、閉じた環境の外でやり取りするJSONにUTF-8を使うこと、ネットワーク転送するJSONに生成側がBOMを付けないことが定められています。可能なら書き出し側を直しましょう。取り込み口では、通常のJSON、確認済みの先頭マーカー、不正なJSON、日本語などの値を試験します。ログには診断に必要な先頭情報だけを残し、非公開の文書本文は記録しないでください。
