Vai al contenuto
FrAIFlow

Soluzioni

Risolvere Extra data riconoscendo JSON Lines

Quando un parser accetta il primo oggetto e fallisce sul successivo, esamina il formato del contenitore prima di modificare i dati. Un documento JSON ha un solo valore al livello principale. JSON Lines memorizza un valore JSON completo per riga. Due oggetti validi insieme non formano necessariamente un documento valido.

Una conversione segnalata da JSONL a CSV falliva alla seconda riga. In un’altra discussione pubblica uno script scriveva oggetti serializzati consecutivi; l’autore confermò che aggiungere una nuova riga dopo ogni oggetto risolveva l’output orientato alle righe desiderato. Non significa che ogni errore Extra data indichi JSON Lines.

Scegli il lettore adatto al file

Apri una copia in un editor di testo e guarda i primi record. Se ogni oggetto completo occupa una propria riga fisica, potrebbe essere JSON Lines. Se un oggetto occupa più righe, questa procedura non è adatta. Se gli oggetti sono uniti senza separatore, correggi chi li scrive o usa un parser progettato per quel flusso; separare sulle parentesi graffe di chiusura rompe oggetti annidati e testo tra virgolette.

Per un piccolo file JSON Lines, questa funzione JavaScript conserva il numero di riga quando il parsing fallisce. Accetta una singola nuova riga finale, ma non scarta silenziosamente record vuoti.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Scegli ordinaryJson se il programma destinatario vuole un unico documento array. Scegli jsonLines se vuole un record per riga. Non aggiungere virgole fra questi ultimi. Per un insieme senza record, scrivi un file JSON Lines vuoto anziché la singola nuova riga prodotta dall’ultima espressione di esempio.

Confronta il numero di record interpretati con quello previsto nella sorgente e controlla il primo e l’ultimo ID. Se una riga fallisce, esaminala nella copia originale. Saltarla può far “terminare” la conversione eliminando silenziosamente un ordine o un evento del registro. Segnalare il numero di riga è più sicuro che registrare l’intero record se contiene informazioni private.

Quando il file è troppo grande per stare comodamente in memoria, sostituisci questa funzione con un lettore a righe in streaming. Mantieni gli stessi controlli su errori e numero di record. JSON Lines definisce i confini dei record, ma non appiattisce automaticamente valori annidati in colonne CSV.

I confini dei record fanno parte del formato

La funzione accetta terminatori LF e CRLF, non CR isolato. L’estensione .json non determina da sola il formato dei record. Se la destinazione è CSV, decidi come mappare campi mancanti e annidati alle colonne, poi usa uno scrittore CSV per virgole, virgolette e nuove righe incorporate.

Due record / {"id":"001"} / {"id":"002"}
Illustrazione esplicativa realizzata per questo articolo, non una schermata dell’applicazione.

Il nostro campione con Node v24.19.0 usava {"id":"001"} e {"id":"002"} su righe separate. Interpretare tutto l’input falliva sul secondo oggetto; leggere le due righe produceva due record e JSON.stringify(records) creava un documento array valido. Messaggi e posizioni degli errori variano fra runtime.

Scrivi consapevolmente il formato di uscita

La documentazione Python avverte che chiamate dump ripetute non creano un unico documento JSON valido: JSON non è un protocollo con delimitazione dei record. Un nome .json non definisce tale contratto. Conferma il formato atteso con lo strumento che leggerà il file.

Due record JSON Lines, con gli identificativi 001 e 002, sono rappresentati anche come un unico array JSON.
Illustrazione esplicativa in inglese. Due record JSON Lines, con gli identificativi 001 e 002, sono rappresentati anche come un unico array JSON.
Il test Node.js mostra l’errore leggendo i due record come un unico documento e il recupero di entrambi leggendoli riga per riga.
Il test Node.js mostra l’errore leggendo i due record come un unico documento e il recupero di entrambi leggendoli riga per riga. Risultato dell’esempio sintetico, non una schermata dell’applicazione dell’utente. Apri l’immagine per ingrandirla.
Fonti, esempi e approfondimenti