本文へスキップ
FrAIFlow

トラブル解決

JSON Linesを見分けてExtra dataエラーを直す

最初のオブジェクトは読み込めるのに、次のオブジェクトで失敗する場合は、データを編集する前にファイル全体の形式を調べましょう。一つのJSON文書にある最上位の値は一つです。一方、JSON Linesでは各行に完全なJSONの値を一つずつ保存します。正しいオブジェクトを二つ並べても、一つの正しいJSON文書になるとは限りません。

公開相談には、JSONLからCSVへの変換が2行目で失敗した例があります。別の相談では、スクリプトが直列化したオブジェクトを連結しており、各オブジェクトの後に改行を付けることで、意図した行単位の出力になったと相談者が確認しています。ただし、すべてのExtra dataエラーがJSON Linesに起因するわけではありません。

ファイルの形式に合った読み方を選ぶ

コピーをテキストエディターで開き、最初の数件を見ます。完全なオブジェクトが物理的な1行ずつに入っていれば、JSON Linesかもしれません。一つのオブジェクトが複数行にまたがる場合、以下の方法は適しません。区切りなしでオブジェクトが連結されているなら、書き込み側を直すか、そのストリーム形式に対応するパーサーを使ってください。閉じ波括弧で分割すると、入れ子のオブジェクトや引用符内の文章が壊れます。

小さなJSON Linesファイルなら、以下のJavaScript関数で解析に失敗した行番号を残せます。末尾の改行を一つ許容しますが、空のレコードを黙って捨てることはしません。

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

受信するプログラムが配列一つのJSON文書を期待する場合は、ordinaryJsonを選びます。1行につき1レコードを期待する場合は、jsonLinesを選んでください。後者のレコードの間にカンマを追加してはいけません。レコードが0件なら、最後の例の式が作る改行一つだけのファイルではなく、空のJSON Linesファイルにします。

解析できた件数が元の想定件数と一致するか確認し、最初と最後のIDも見ましょう。失敗した行は元のコピーで調べます。単に飛ばすと、変換は「完了」しても注文やログが知らないうちに欠落します。個人情報を含む場合は、レコード全体を記録するより行番号を知らせるほうが安全です。

ファイルが大きく、メモリーに余裕を持って収まらない場合は、この小規模向け関数ではなくストリーミングの行読み込みを使います。エラーと件数の確認は同じように残してください。JSON Linesが決めるのはレコードの区切りであって、入れ子の値をCSVの列に展開するところまで自動で行うわけではありません。

レコードの区切りも形式の一部

この関数はLFとCRLFの改行に対応しますが、CR単独には対応しません。拡張子が.jsonというだけではレコード形式は分かりません。CSVに出力するなら、欠損項目や入れ子の値を列にどう割り当てるか決め、カンマ、引用符、セル内改行を処理できるCSVライターを使いましょう。

二つのレコード:{"id":"001"}と{"id":"002"}
筆者作成の説明図です。アプリケーションの画面キャプチャではありません。

Node v24.19.0での試験データは{"id":"001"}と{"id":"002"}を別々の行に置いたものです。全体を一度に解析すると二つ目のオブジェクトで失敗し、行ごとに読むと2レコードになりました。JSON.stringify(records)では正しい配列文書を作れました。エラー文や位置の表現は実行環境によって異なります。

出力形式を意識して書き込む

Pythonの公式資料でも、dumpを繰り返し呼んでも一つの有効なJSON文書にはならないと説明されています。JSONはデータを連結した際の境界を自動で定めるプロトコルではないためです。.jsonというファイル名だけで区切り方は決まりません。次に読むツールが期待する形式を確認しましょう。

JSON Linesを見分けてExtra dataエラーを直すの補足資料(本文の説明を参照)
補足説明図です。アプリケーションのスクリーンショットではありません。
JSON Linesを見分けてExtra dataエラーを直すの補足資料(本文の説明を参照)
保存済みのローカルテスト結果です。画像を開くと元の検証資料を確認できます。
出典・事例・関連資料