Ga naar de inhoud
FrAIFlow

Oplossingen

Los Extra data op door JSON Lines te herkennen

Accepteert een parser het eerste object maar loopt hij bij het volgende vast, controleer dan eerst het bestandsformaat voordat je gegevens bewerkt. Eén JSON-document heeft één waarde op het hoogste niveau. JSON Lines bewaart op elke regel één volledige JSON-waarde. Twee geldige objecten vormen samen niet noodzakelijk één geldig document.

Een gemelde conversie van JSONL naar CSV mislukte op regel twee. In een andere openbare discussie schreef een script geserialiseerde objecten direct achter elkaar; de melder bevestigde dat een regeleinde na elk object de bedoelde regelgerichte uitvoer herstelde. Dat betekent niet dat elke Extra data-fout over JSON Lines gaat.

Kies een lezer die bij je bestand past

Open een kopie in een teksteditor en bekijk de eerste records. Staat elk volledig object op een eigen fysieke regel, dan kan het JSON Lines zijn. Beslaat één object meerdere regels, dan is deze aanpak niet geschikt. Zijn objecten zonder scheiding aaneengeplakt, herstel dan de schrijver of gebruik een parser voor die stroom; splitsen op sluitaccolades beschadigt geneste objecten en tekst tussen aanhalingstekens.

Voor een klein JSON Lines-bestand bewaart deze JavaScript-functie het regelnummer als parsen mislukt. Eén afsluitend regeleinde is toegestaan, maar lege records worden niet stilzwijgend weggegooid.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Kies ordinaryJson als het ontvangende programma één arraydocument verwacht. Kies jsonLines als het één record per regel verwacht. Zet geen komma's tussen zulke records. Schrijf bij een lege verzameling een leeg JSON Lines-bestand in plaats van het enkele regeleinde dat de laatste voorbeeldexpressie oplevert.

Vergelijk het aantal geparste records met het bedoelde aantal uit de bron en controleer de eerste en laatste ID's. Mislukt een regel, bekijk die dan in de oorspronkelijke kopie. Overslaan kan de conversie laten ‘slagen’ terwijl een bestelling of loggebeurtenis ongemerkt ontbreekt. Een regelnummer melden is veiliger dan het hele record loggen wanneer dit privégegevens bevat.

Past het bestand niet prettig in het geheugen, vervang deze functie voor kleine bestanden dan door een streamende regellezer. Behoud dezelfde controles op fouten en aantallen. JSON Lines regelt recordgrenzen; het zet geneste waarden niet automatisch om in CSV-kolommen.

Recordgrenzen horen bij het formaat

De functie accepteert LF en CRLF, maar geen losse CR. Alleen de extensie .json zegt niets definitiefs over het recordformaat. Is CSV je doel, bepaal dan hoe ontbrekende en geneste velden naar kolommen worden vertaald en gebruik een CSV-schrijver voor komma's, aanhalingstekens en ingebedde regeleinden.

Twee records / {"id":"001"} / {"id":"002"}
Uitleg gemaakt door de auteur, geen schermafbeelding van een toepassing.

Ons Node v24.19.0-testvoorbeeld gebruikte {"id":"001"} en {"id":"002"} op afzonderlijke regels. De volledige invoer parsen mislukte bij het tweede object; de twee regels afzonderlijk parsen gaf twee records, en JSON.stringify(records) leverde een geldig arraydocument op. Foutteksten en posities verschillen per runtime.

Kies bewust een uitvoerformaat

De Python-documentatie waarschuwt dat herhaalde dump-aanroepen niet één geldig JSON-document maken: JSON is geen protocol met ingebouwde berichtafbakening. De bestandsnaam .json bepaalt de afbakening dus niet. Bevestig het verwachte formaat bij de tool die het bestand gaat lezen.

Uitlegdiagram: de JSON Lines-records met codes 001 en 002 staan op aparte regels; een JSON-array brengt dezelfde waarden samen in één lijst.
Uitlegdiagram: de JSON Lines-records met codes 001 en 002 staan op aparte regels; een JSON-array brengt dezelfde waarden samen in één lijst. Uitlegdiagram, geen schermafbeelding van een toepassing.
Vastgelegde Node.js-uitvoer: beide JSON Lines-regels als één document lezen mislukt. Regel voor regel lezen behoudt de records 001 en 002.
Vastgelegde Node.js-uitvoer: beide JSON Lines-regels als één document lezen mislukt. Regel voor regel lezen behoudt de records 001 en 002. Opgeslagen uitvoer van een gecontroleerde test, niet de toepassing uit de gebruikersmelding.
Bronnen, voorbeelden en meer informatie