跳至主要內容
FrAIFlow

問題解決指南

認清 JSON Lines,解決 Extra data 錯誤

解析器接受第一個物件,卻在下一個物件失敗時,請先確認容器格式,再修改資料。單一 JSON 文件只有一個頂層值;JSON Lines 則是一行存放一個完整 JSON 值。兩個各自有效的物件放在一起,不一定構成一份有效文件。

一則 JSONL 轉 CSV 的案例在第二行失敗。另一則公開討論中,程式把序列化的物件接在一起寫入;發問者確認,在每個物件後加換行,便修好了原本預期逐行儲存的輸出。這些案例不代表每一個 Extra data 錯誤都是 JSON Lines。

依檔案格式選擇讀取方式

先用文字編輯器開啟副本,查看前幾筆紀錄。如果每個完整物件都各自占一個實體行,可能就是 JSON Lines。如果一個物件跨越多行,這裡的讀取方式就不適用。如果物件之間沒有任何分隔,應修正寫入端,或使用專門處理該串流格式的解析器;以右大括號切割會破壞巢狀物件與引號內的文字。

對較小的 JSON Lines 檔案,下列 JavaScript 函式會在解析失敗時保留行號。它允許檔案最後有一個換行,但不會默默丟掉空白紀錄。

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

接收程式預期單一陣列文件時,請選擇 ordinaryJson。預期每行一筆紀錄時,請選擇 jsonLines。後者的紀錄之間不要加逗號。如果沒有任何紀錄,應寫出空的 JSON Lines 檔,而不是最後一個範例運算式會產生的單一換行。

請核對解析後的紀錄數與預期來源筆數,並檢查第一筆和最後一筆 ID。某行失敗時,回到原始副本檢查那一行。跳過它雖然可能讓轉換「完成」,卻也可能悄悄遺漏訂單或日誌事件。如果紀錄含私人資訊,回報行號比記錄完整內容安全。

如果檔案大到不適合一次放進記憶體,請用串流逐行讀取器取代這個小檔案函式,但仍保留相同的錯誤與筆數檢查。JSON Lines 處理的是紀錄邊界,不會替你將巢狀值攤平成 CSV 欄位。

紀錄邊界也是格式的一部分

這個函式接受 LF 與 CRLF 換行,不接受單獨的 CR。副檔名是 .json,並不能證明紀錄格式。如果目標是 CSV,請先決定缺少的欄位與巢狀欄位如何對應成欄,再用 CSV 寫入器處理逗號、引號和欄位內換行。

兩筆紀錄:{"id":"001"} 與 {"id":"002"}
作者製作的說明圖,並非應用程式畫面截圖。

我們的 Node v24.19.0 測試資料將 {"id":"001"} 與 {"id":"002"} 分別放在兩行。將整份輸入一次解析,會在第二個物件失敗;逐行解析則得到兩筆紀錄,JSON.stringify(records) 會產生有效的陣列文件。錯誤訊息與位置可能因執行環境而異。

明確決定輸出格式

Python 文件提醒,重複呼叫 dump 不會產生有效的單一 JSON 文件,因為 JSON 不是具有紀錄分框機制的協定。檔名使用 .json 並不足以確認這個約定。請向實際讀取檔案的工具確認它預期的格式。

比較 ID 為 001 與 002 的兩筆 JSON Lines 紀錄及對應 JSON 陣列
輔助說明圖,並非應用程式畫面截圖。
比較 ID 為 001 與 002 的兩筆 JSON Lines 紀錄及對應 JSON 陣列
已保存的本機測試結果。開啟圖片即可查看原始證據。
資料來源、範例與延伸閱讀