Zum Inhalt springen
FrAIFlow

Lösungen

„Extra data“ beheben: JSON Lines erkennen

Akzeptiert ein Parser das erste Objekt und scheitert am nächsten, prüfen Sie zunächst das Dateiformat, bevor Sie Daten verändern. Ein einzelnes JSON-Dokument hat genau einen Wert auf oberster Ebene. JSON Lines speichert dagegen in jeder Zeile einen vollständigen JSON-Wert. Zwei für sich gültige Objekte ergeben zusammen nicht automatisch ein gültiges Dokument.

Eine öffentlich beschriebene JSONL-zu-CSV-Konvertierung scheiterte an Zeile zwei. In einer anderen Diskussion schrieb ein Skript serialisierte Objekte unmittelbar hintereinander; der Verfasser bestätigte, dass ein Zeilenumbruch nach jedem Objekt die beabsichtigte zeilenweise Ausgabe reparierte. Daraus folgt jedoch nicht, dass jeder Fehler „Extra data“ auf JSON Lines zurückgeht.

Verwenden Sie einen Leser, der zu Ihrer Datei passt

Öffnen Sie eine Kopie im Texteditor und betrachten Sie die ersten Datensätze. Steht jedes vollständige Objekt in einer eigenen tatsächlichen Zeile, könnte es sich um JSON Lines handeln. Erstreckt sich ein Objekt über mehrere Zeilen, passt die folgende Methode nicht. Hängen Objekte ohne Trennzeichen aneinander, korrigieren Sie das schreibende Programm oder verwenden Sie einen Parser für diesen Datenstrom. Das Trennen an schließenden Klammern würde verschachtelte Objekte und Text in Anführungszeichen beschädigen.

Für eine kleine JSON-Lines-Datei hält diese JavaScript-Hilfsfunktion bei einem Lesefehler die Zeilennummer fest. Sie erlaubt einen abschließenden Zeilenumbruch, verwirft aber nicht stillschweigend leere Datensätze.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Wählen Sie ordinaryJson, wenn das empfangende Programm ein einzelnes Array-Dokument erwartet. Wählen Sie jsonLines, wenn es einen Datensatz pro Zeile erwartet. Zwischen diese Datensätze gehören keine Kommas. Für eine leere Datensatzmenge schreiben Sie eine leere JSON-Lines-Datei, nicht den einzelnen Zeilenumbruch, den der letzte Beispielausdruck erzeugen würde.

Vergleichen Sie die Anzahl eingelesener Datensätze mit der erwarteten Anzahl aus der Quelle und prüfen Sie die erste und letzte ID. Scheitert eine Zeile, sehen Sie sie in der Originalkopie nach. Wer sie überspringt, kann zwar eine scheinbar abgeschlossene Konvertierung erhalten, dabei aber unbemerkt eine Bestellung oder ein Protokollereignis verlieren. Bei privaten Informationen ist die Angabe einer Zeilennummer sicherer als das Protokollieren des gesamten Datensatzes.

Passt die Datei nicht bequem in den Arbeitsspeicher, ersetzen Sie diese Hilfsfunktion für kleine Dateien durch einen zeilenweisen Streaming-Leser. Behalten Sie dieselben Fehler- und Mengenprüfungen bei. JSON Lines legt Datensatzgrenzen fest; verschachtelte Werte werden dadurch nicht automatisch zu CSV-Spalten.

Datensatzgrenzen gehören zum Format

Die Hilfsfunktion akzeptiert LF- und CRLF-Zeilenenden, aber kein einzelnes CR. Die Dateiendung .json allein sagt nichts über das Datensatzformat aus. Soll das Ziel CSV sein, legen Sie die Zuordnung fehlender und verschachtelter Felder zu Spalten fest. Verwenden Sie anschließend einen CSV-Writer, der Kommas, Anführungszeichen und eingebettete Zeilenumbrüche korrekt behandelt.

Zwei Datensätze / {"id":"001"} / {"id":"002"}
Eigene erklärende Darstellung, keine Aufnahme einer Anwendung.

Unsere Testdaten unter Node v24.19.0 enthielten {"id":"001"} und {"id":"002"} in getrennten Zeilen. Das Einlesen der gesamten Eingabe scheiterte am zweiten Objekt; das getrennte Einlesen ergab zwei Datensätze. JSON.stringify(records) erzeugte daraus ein gültiges Array-Dokument. Wortlaut und Position einer Fehlermeldung hängen von der Laufzeitumgebung ab.

Legen Sie das Ausgabeformat bewusst fest

Die Python-Dokumentation warnt davor, dass wiederholte dump-Aufrufe kein gültiges einzelnes JSON-Dokument erzeugen: JSON ist kein Protokoll mit eingebauten Nachrichtengrenzen. Eine .json-Dateiendung genügt nicht, um die Aufteilung der Daten festzulegen. Klären Sie das erwartete Format mit dem Programm, das die Datei lesen soll.

Erklärdiagramm: Die JSON-Lines-Datensätze mit den Kennungen 001 und 002 stehen auf eigenen Zeilen; ein JSON-Array fasst dieselben Werte in einer Liste zusammen.
Erklärdiagramm: Die JSON-Lines-Datensätze mit den Kennungen 001 und 002 stehen auf eigenen Zeilen; ein JSON-Array fasst dieselben Werte in einer Liste zusammen. Erklärdiagramm, kein Programm-Screenshot.
Aufgezeichnete Node.js-Ausgabe: Das Einlesen beider JSON-Lines-Zeilen als ein Dokument scheitert. Zeilenweises Einlesen erhält die Datensätze 001 und 002.
Aufgezeichnete Node.js-Ausgabe: Das Einlesen beider JSON-Lines-Zeilen als ein Dokument scheitert. Zeilenweises Einlesen erhält die Datensätze 001 und 002. Gespeicherte Ausgabe eines kontrollierten Tests, keine Aufnahme der gemeldeten Anwendung.
Quellen, Beispiele und weiterführende Informationen