Siirry sisältöön
FrAIFlow

Ratkaisut

Korjaa Extra data tunnistamalla JSON Lines

Kun jäsennin hyväksyy ensimmäisen objektin mutta epäonnistuu seuraavassa, tarkista säilömuoto ennen tietojen muokkaamista. Yhdessä JSON-dokumentissa on yksi ylimmän tason arvo. JSON Lines tallentaa yhden kokonaisen JSON-arvon kullekin riville. Kaksi kelvollista objektia yhdessä eivät välttämättä muodosta yhtä kelvollista dokumenttia.

Raportoidussa JSONL–CSV-muunnoksessa virhe tuli toisella rivillä. Toisessa julkisessa keskustelussa skripti kirjoitti sarjallistettuja objekteja peräkkäin; ilmoittaja vahvisti, että rivinvaihdon lisääminen jokaisen objektin jälkeen korjasi tarkoitetun rivimuotoisen tuloksen. Tapaukset eivät tarkoita kaikkien Extra data -virheiden johtuvan JSON Linesista.

Valitse tiedostoa vastaava lukija

Avaa kopio tekstieditorissa ja tarkastele ensimmäisiä tietueita. Jos jokainen kokonainen objekti on omalla fyysisellä rivillään, muoto voi olla JSON Lines. Jos yksi objekti ulottuu usealle riville, tämä lukutapa ei sovi. Jos objektit liittyvät toisiinsa ilman erotinta, korjaa tiedoston muodostava koodi tai käytä kyseiselle virralle tarkoitettua jäsennintä. Jakaminen sulkevista aaltosulkeista rikkoo sisäkkäiset objektit ja lainausmerkkien sisällä olevan tekstin.

Pienelle JSON Lines -tiedostolle tämä JavaScript-apufunktio säilyttää rivinumeron virhetilanteessa. Se sallii yhden viimeisen rivinvaihdon muttei hävitä tyhjiä tietueita hiljaisesti.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Valitse ordinaryJson, kun vastaanottava ohjelma odottaa yhtä taulukkodokumenttia. Valitse jsonLines, kun se odottaa yhtä tietuetta riville. Älä lisää pilkkuja jälkimmäisten tietueiden väliin. Tyhjälle tietuejoukolle kirjoita tyhjä JSON Lines -tiedosto viimeisen esimerkkilausekkeen tuottaman yksittäisen rivinvaihdon sijaan.

Vertaa jäsennettyjen tietueiden määrää lähteen tarkoitettuun määrään ja tarkista ensimmäinen ja viimeinen tunniste. Jos rivi epäonnistuu, tarkista se alkuperäisestä kopiosta. Rivin ohittaminen voi saada muunnoksen ”valmiiksi” mutta pudottaa huomaamatta tilauksen tai lokitapahtuman. Rivinumeron ilmoittaminen on turvallisempaa kuin koko yksityistä tietoa sisältävän tietueen lokittaminen.

Jos tiedosto on liian suuri mahtuakseen hyvin muistiin, korvaa tämä apufunktio suoratoistavalla rivinlukijalla. Säilytä samat virhe- ja tietuemäärätarkistukset. JSON Lines ratkaisee tietuerajat, mutta ei litistä sisäkkäisiä arvoja CSV-sarakkeiksi puolestasi.

Tietuerajat kuuluvat tiedostomuotoon

Apufunktio hyväksyy LF- ja CRLF-loput, ei pelkkää CR:ää. .json-pääte ei yksin kerro tietuemuotoa. Jos kohteena on CSV, päätä puuttuvien ja sisäkkäisten kenttien sarakevastaavuus ja käsittele pilkut, lainausmerkit ja kenttien sisäiset rivinvaihdot CSV-kirjoittajalla.

Kaksi tietuetta / {"id":"001"} / {"id":"002"}
Tekijän laatima havainnekuva, ei sovelluksen kuvakaappaus.

Node v24.19.0 -testiaineistossamme oli {"id":"001"} ja {"id":"002"} eri riveillä. Koko syötteen jäsentäminen epäonnistui toisessa objektissa. Kahden rivin erillinen jäsentäminen tuotti kaksi tietuetta, ja JSON.stringify(records) muodosti kelvollisen taulukkodokumentin. Virheilmoituksen sanamuoto ja sijainnit riippuvat suoritusympäristöstä.

Kirjoita tulos tarkoitukselliseen muotoon

Pythonin dokumentaatio varoittaa, etteivät toistuvat dump-kutsut luo yhtä kelvollista JSON-dokumenttia: JSON ei ole kehystetty protokolla. .json-tiedostonimi ei riitä määrittämään tietuerajoja. Varmista odotettu muoto tiedostoa lukevalta työkalulta.

Havainnekuva: Kahta JSON Lines -tietuetta, joiden tunnisteet ovat 001 ja 002, verrataan samat tietueet sisältävään JSON-taulukkoon.
Kahta JSON Lines -tietuetta, joiden tunnisteet ovat 001 ja 002, verrataan samat tietueet sisältävään JSON-taulukkoon. Kaavio havainnollistaa tallennettua testiä; se ei ole sovelluksen kuvakaappaus.
Tallennettu synteettinen testitulos: Kahta JSON Lines -tietuetta, joiden tunnisteet ovat 001 ja 002, verrataan samat tietueet sisältävään JSON-taulukkoon.
Kahta JSON Lines -tietuetta, joiden tunnisteet ovat 001 ja 002, verrataan samat tietueet sisältävään JSON-taulukkoon. Kuva näyttää aiemman paikallisen testin, ei uutta suoritusta tai käyttäjän sovellusta.
Lähteet, esimerkit ja lisälukeminen