Hopp til innholdet
FrAIFlow

Løsninger

Løs «Extra data» ved å gjenkjenne JSON Lines

Når parseren godtar det første objektet, men stopper ved det neste, bør du undersøke filformatet før du redigerer dataene. Et enkelt JSON-dokument har én verdi på øverste nivå. JSON Lines lagrer én fullstendig JSON-verdi på hver linje. To gyldige objekter etter hverandre er ikke nødvendigvis ett gyldig dokument.

En rapportert konvertering fra JSONL til CSV feilet på linje to. I en annen offentlig diskusjon skrev et skript serialiserte objekter rett etter hverandre. Personen som meldte problemet, bekreftet at et linjeskift etter hvert objekt ga ønsket linjebasert resultat. Det betyr ikke at alle «Extra data»-feil skyldes JSON Lines.

Velg en leser som passer til filen

Åpne en kopi i et tekstredigeringsprogram og se på de første postene. Hvis hvert fullstendige objekt står på én fysisk linje, kan filen være JSON Lines. Hvis ett objekt strekker seg over flere linjer, passer ikke denne lesemåten. Hvis objektene er satt sammen uten skilletegn, må du rette skrivekoden eller bruke en parser som er laget for strømmen. Oppdeling ved avsluttende klammeparenteser ødelegger nestede objekter og tekst i anførselstegn.

For en liten JSON Lines-fil beholder denne JavaScript-hjelpefunksjonen linjenummeret når parsingen feiler. Den tillater ett avsluttende linjeskift, men fjerner ikke tomme poster uten å si fra.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Velg ordinaryJson når mottakerprogrammet forventer ett dokument med en array. Velg jsonLines når det forventer én post per linje. Ikke sett komma mellom de sistnevnte postene. Hvis datasettet er tomt, skal du skrive en tom JSON Lines-fil, ikke det ene linjeskiftet som det siste eksempeluttrykket ville gitt.

Sammenlign antallet leste poster med forventet antall i kilden, og kontroller første og siste ID. Hvis en linje feiler, undersøk den i originalkopien. Å hoppe over linjen kan få konverteringen til å «fullføres» samtidig som en ordre eller logghendelse forsvinner uten varsel. Et linjenummer er tryggere å logge enn hele posten når den inneholder private opplysninger.

Når filen er for stor til å passe komfortabelt i minnet, bør du erstatte denne hjelpefunksjonen med en strømmende linjeleser. Behold de samme kontrollene av feil og antall poster. JSON Lines definerer postgrensene, men flater ikke automatisk ut nestede verdier til CSV-kolonner.

Postgrensene er en del av formatet

Hjelpefunksjonen godtar LF og CRLF som linjeslutt, men ikke CR alene. Filendelsen .json forteller ikke i seg selv hvordan postene er ordnet. Hvis målet er CSV, bestem hvordan manglende og nestede felt skal plasseres i kolonner. Bruk deretter en CSV-skriver som håndterer komma, anførselstegn og innebygde linjeskift.

To poster / {"id":"001"} / {"id":"002"}
Forklaring laget av forfatteren, ikke et opptak av et program.

Testoppsettet vårt i Node v24.19.0 brukte {"id":"001"} og {"id":"002"} på hver sin linje. Parsing av hele inndataene feilet ved det andre objektet. Parsing linje for linje ga to poster, og JSON.stringify(records) produserte et gyldig array-dokument. Feilteksten og posisjonene varierer mellom kjøremiljøer.

Velg utdataformatet bevisst

Python-dokumentasjonen advarer om at gjentatte dump-kall ikke lager ett gyldig JSON-dokument: JSON er ikke en protokoll med innrammede meldinger. Filnavnet .json er ikke nok til å fastslå postinndelingen. Avklar forventet format med verktøyet som skal lese filen.

Forklarende diagram: To JSON Lines-poster med ID 001 og 002 sammenlignes med en JSON-array som inneholder de samme postene.
To JSON Lines-poster med ID 001 og 002 sammenlignes med en JSON-array som inneholder de samme postene. Diagrammet oppsummerer den lagrede testen; det er ikke et programskjermbilde.
Lagret syntetisk testresultat: To JSON Lines-poster med ID 001 og 002 sammenlignes med en JSON-array som inneholder de samme postene.
To JSON Lines-poster med ID 001 og 002 sammenlignes med en JSON-array som inneholder de samme postene. Bildet viser en tidligere lokal test, ikke en ny kjøring eller brukerens program.
Kilder, eksempler og videre lesning