본문으로 건너뛰기
FrAIFlow

Solutions

Extra data 오류: JSON Lines인지 먼저 확인하세요

파서가 첫 객체는 읽고 다음 객체에서 실패한다면 데이터를 고치기 전에 파일 형식부터 확인하세요. 하나의 JSON 문서에는 최상위 값이 하나 있습니다. JSON Lines는 각 줄에 완결된 JSON 값 하나를 저장합니다. 각각 유효한 객체 두 개를 붙였다고 유효한 단일 문서가 되지는 않습니다.

공개된 JSONL→CSV 변환 사례에서는 두 번째 줄에서 실패했습니다. 또 다른 논의에서는 스크립트가 직렬화한 객체를 이어 썼는데, 각 객체 뒤에 줄바꿈을 추가하자 의도한 줄 단위 출력이 됐다고 작성자가 확인했습니다. 그렇다고 모든 Extra data 오류가 JSON Lines라는 뜻은 아닙니다.

파일 형식에 맞는 읽기 방식을 선택하세요

복사본을 텍스트 편집기로 열어 처음 몇 개 기록을 살펴보세요. 완결된 객체 하나가 실제 한 줄에 있으면 JSON Lines일 수 있습니다. 객체 하나가 여러 줄에 걸쳐 있다면 이 방식으로 읽으면 안 됩니다. 객체 사이에 구분이 전혀 없다면 출력하는 쪽을 고치거나 해당 스트림 형식용 파서를 사용하세요. 닫는 중괄호로 나누면 중첩 객체와 따옴표 안 텍스트가 깨집니다.

작은 JSON Lines 파일에는 아래 JavaScript 함수를 사용할 수 있습니다. 파싱 실패 시 줄 번호를 유지하며 마지막 줄바꿈 하나는 허용하지만 빈 기록을 조용히 버리지는 않습니다.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

받는 프로그램이 하나의 배열 문서를 기대하면 ordinaryJson을, 한 줄에 기록 하나를 기대하면 jsonLines를 선택하세요. 후자의 기록 사이에는 쉼표를 넣지 않습니다. 기록이 없다면 마지막 예시 식이 만드는 줄바꿈 하나 대신 빈 JSON Lines 파일을 만드세요.

파싱된 기록 수를 원본에서 기대한 수와 비교하고 첫 ID와 마지막 ID도 살펴보세요. 실패한 줄은 원본 복사본에서 확인합니다. 그 줄을 건너뛰면 변환은 끝나 보여도 주문이나 로그 하나가 조용히 빠질 수 있습니다. 개인정보가 포함된 경우에는 기록 전체를 로그로 남기는 것보다 줄 번호를 알려주는 편이 안전합니다.

파일이 커서 메모리에 한꺼번에 올리기 어렵다면 작은 파일용 함수를 스트리밍 줄 읽기로 바꾸세요. 오류 확인과 기록 수 검증은 그대로 유지합니다. JSON Lines는 기록의 경계를 정할 뿐, 중첩 값을 CSV 열로 자동 펼쳐 주지는 않습니다.

기록의 경계도 파일 형식의 일부입니다

이 함수는 LF와 CRLF 줄끝을 허용하지만 CR만 있는 형식은 지원하지 않습니다. 확장자가 .json이라는 사실만으로 기록 형식을 판단할 수는 없습니다. CSV로 내보내려면 누락값과 중첩값을 어느 열에 넣을지 먼저 정하고, 쉼표·따옴표·내부 줄바꿈은 CSV 작성기로 처리하세요.

기록 두 개 / {"id":"001"} / {"id":"002"}
직접 제작한 설명 이미지입니다. 실제 프로그램 화면 캡처가 아닙니다.

Node v24.19.0 시험에는 {"id":"001"}과 {"id":"002"}를 각각 별도 줄에 넣었습니다. 전체를 한 번에 파싱하면 두 번째 객체에서 실패했고, 두 줄을 따로 읽으면 기록 두 개가 됐습니다. JSON.stringify(records)는 유효한 배열 문서를 만들었습니다. 오류 문구와 위치 표시는 런타임에 따라 다릅니다.

출력 형식을 의도적으로 결정하세요

Python 문서는 dump를 반복 호출한다고 유효한 단일 JSON 문서가 되지는 않는다고 설명합니다. JSON은 기록 경계를 자동으로 구분하는 프로토콜이 아닙니다. 파일 이름이 .json이라고 형식 계약이 정해지지 않으므로 읽을 도구가 기대하는 형식을 확인하세요.

ID 001과 002인 JSON Lines 두 레코드와 이에 대응하는 JSON 배열의 비교
직접 제작한 설명 이미지입니다. 실제 프로그램 화면 캡처가 아닙니다.
저장된 시험 기록: ID 001과 002인 JSON Lines 두 레코드와 이에 대응하는 JSON 배열의 비교
저장된 로컬 시험 결과입니다. 이미지를 열면 원본 증거를 자세히 볼 수 있습니다.
출처, 실제 사례 및 참고 자료