Spring til indholdet
FrAIFlow

Løsninger

Ret Extra data ved at genkende JSON Lines

Når en parser accepterer første objekt og fejler ved det næste, skal du undersøge containerformatet, før du redigerer dataene. Ét JSON-dokument har én værdi på øverste niveau. JSON Lines gemmer én fuldstændig JSON-værdi pr. linje. To gyldige objekter tilsammen er ikke nødvendigvis ét gyldigt dokument.

En rapporteret JSONL-til-CSV-konvertering fejlede på linje to. I en anden offentlig diskussion skrev et script serialiserede objekter sammen; rapportøren bekræftede, at et linjeskift efter hvert objekt rettede det ønskede linjeorienterede output. Rapporterne betyder ikke, at enhver Extra data-fejl er JSON Lines.

Vælg en læser, der passer til filen

Åbn en kopi i en teksteditor, og se på de første poster. Hvis hvert fuldstændigt objekt står på sin egen fysiske linje, kan du have JSON Lines. Hvis ét objekt strækker sig over flere linjer, er denne metode ikke den rigtige læser. Hvis objekter står sammen uden separator, skal du rette koden, der skriver filen eller bruge en parser beregnet til den strøm; opdeling ved afsluttende krøllede parenteser ødelægger indlejrede objekter og tekst i anførselstegn.

Til en lille JSON Lines-fil bevarer denne JavaScript-hjælpefunktion linjenummeret, når parsing fejler. Den tillader ét afsluttende linjeskift, men kasserer ikke ubemærket tomme poster.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Vælg ordinaryJson, når modtagerprogrammet forventer ét array-dokument. Vælg jsonLines, når det forventer én post pr. linje. Sæt ikke kommaer mellem disse poster. Ved et tomt postsæt skal du skrive en tom JSON Lines-fil i stedet for det ene linjeskift, som sidste eksempeludtryk fremstiller.

Sammenlign antallet af indlæste poster med det tilsigtede kildeantal, og undersøg første og sidste ID. Hvis en linje fejler, skal du se på den i originalkopien. At springe den over kan få en konvertering til at “blive færdig”, mens en ordre eller loghændelse ubemærket forsvinder. Et angivet linjenummer er sikrere end at logge hele posten, hvis den indeholder private oplysninger.

Når filen er for stor til bekvemt at være i hukommelsen, skal denne hjælpefunktion til små filer erstattes med en streamingbaseret linjelæser. Bevar de samme fejl- og antalchecks. JSON Lines løser afgrænsningen mellem poster; det flader ikke indlejrede værdier ud til CSV-kolonner for dig.

Postgrænser er en del af formatet

Hjælpefunktionen accepterer LF- og CRLF-linjeafslutninger, ikke enkeltstående CR. Endelsen .json fastslår ikke alene postformatet. Hvis målet er CSV, skal du beslutte, hvordan manglende og indlejrede felter fordeles på kolonner, og derefter bruge en CSV-skriver til at håndtere kommaer, anførselstegn og indlejrede linjeskift.

To poster / {"id":"001"} / {"id":"002"}
Forklaring fremstillet af forfatteren, ikke et skærmbillede fra et program.

Vores Node v24.19.0-testmateriale brugte {"id":"001"} og {"id":"002"} på hver sin linje. Parsing af hele inputtet fejlede ved andet objekt; parsing af de to linjer gav to poster, og JSON.stringify(records) fremstillede et gyldigt array-dokument. Fejltekst og positioner varierer efter runtime.

Skriv et bevidst valgt output

Pythons dokumentation advarer om, at gentagne dump-kald ikke skaber ét gyldigt JSON-dokument: JSON er ikke en indrammet protokol. Et .json-filnavn er ikke nok til at fastslå aftalen om postafgrænsning. Bekræft det forventede format med det værktøj, der skal læse filen.

Forklarende diagram: To JSON Lines-poster med ID 001 og 002 sammenlignes med et JSON-array med de samme to poster.
To JSON Lines-poster med ID 001 og 002 sammenlignes med et JSON-array med de samme to poster. Diagrammet opsummerer den gemte test; det er ikke et programskærmbillede.
Gemt syntetisk testresultat: To JSON Lines-poster med ID 001 og 002 sammenlignes med et JSON-array med de samme to poster.
To JSON Lines-poster med ID 001 og 002 sammenlignes med et JSON-array med de samme to poster. Billedet viser en tidligere lokal test, ikke en ny kørsel eller brugerens program.
Kilder, eksempler og videre læsning