Pular para o conteúdo
FrAIFlow

Soluções

Corrija Extra data reconhecendo JSON Lines

Quando um parser aceita o primeiro objeto e falha no próximo, examine o formato do contêiner antes de editar os dados. Um documento JSON único tem um valor de nível superior. JSON Lines armazena um valor JSON completo em cada linha. Dois objetos válidos juntos não formam necessariamente um documento válido.

Uma conversão de JSONL para CSV relatada publicamente falhou na linha dois. Em outra discussão pública, um script gravava objetos serializados juntos; o autor confirmou que acrescentar uma quebra de linha depois de cada objeto corrigiu a saída orientada a linhas pretendida. Esses relatos não significam que todo erro Extra data seja JSON Lines.

Escolha o leitor adequado ao arquivo

Abra uma cópia em um editor de texto e examine os primeiros registros. Se cada objeto completo ocupa sua própria linha física, pode ser JSON Lines. Se um objeto se estende por várias linhas, esta receita não é o leitor correto. Se objetos estão unidos sem separador, corrija o gravador ou use um parser projetado para esse fluxo; dividir em chaves de fechamento quebra objetos aninhados e texto entre aspas.

Para um arquivo JSON Lines pequeno, esta função JavaScript mantém o número da linha quando o parsing falha. Ela permite uma quebra de linha final, mas não descarta silenciosamente registros vazios.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Escolha ordinaryJson quando o programa destinatário espera um documento único com um array. Escolha jsonLines quando ele espera um registro por linha. Não acrescente vírgulas entre esses registros. Para um conjunto vazio, grave um arquivo JSON Lines vazio em vez da única quebra de linha produzida pela última expressão de exemplo.

Compare a quantidade de registros interpretados com a contagem esperada na origem e examine o primeiro e o último ID. Se uma linha falhar, examine-a na cópia original. Ignorá-la pode fazer a conversão “terminar” descartando silenciosamente um pedido ou um evento de log. Informar o número da linha é mais seguro do que registrar o conteúdo completo quando há informações privadas.

Se o arquivo for grande demais para caber confortavelmente na memória, substitua esta função para arquivos pequenos por um leitor de linhas em streaming. Preserve as mesmas verificações de erros e contagem de registros. JSON Lines resolve os limites de registros; não transforma automaticamente valores aninhados em colunas CSV.

Os limites de registros fazem parte do formato

A função aceita finais de linha LF e CRLF, não CR isolado. A extensão .json, sozinha, não estabelece o formato dos registros. Se o destino for CSV, defina como campos ausentes e aninhados serão mapeados para colunas e use um gravador CSV para tratar vírgulas, aspas e quebras de linha internas.

Dois registros / {"id":"001"} / {"id":"002"}
Explicação criada pelos autores, não uma captura de aplicativo.

Nossa amostra de Node v24.19.0 usou {"id":"001"} e {"id":"002"} em linhas separadas. Interpretar toda a entrada falhou no segundo objeto; interpretar as duas linhas produziu dois registros, e JSON.stringify(records) gerou um documento válido com array. O texto e as posições dos erros variam conforme o runtime.

Grave uma saída com formato definido

A documentação do Python avisa que chamadas repetidas a dump não criam um documento JSON único válido: JSON não é um protocolo com delimitação de mensagens. Um nome de arquivo .json não basta para definir esse contrato. Confirme o formato esperado com a ferramenta que fará a leitura.

Dois registros JSON Lines, com os identificadores 001 e 002, também são representados como um único array JSON.
Ilustração explicativa em inglês. Dois registros JSON Lines, com os identificadores 001 e 002, também são representados como um único array JSON.
O teste Node.js mostra o erro ao ler os dois registros como um documento único e a recuperação de ambos ao ler linha por linha.
O teste Node.js mostra o erro ao ler os dois registros como um documento único e a recuperação de ambos ao ler linha por linha. Resultado do exemplo sintético, não uma captura do aplicativo do usuário. Abra a imagem para ampliar.
Fontes, exemplos e leituras adicionais