Ga naar de inhoud
FrAIFlow

Oplossingen / CSV en spreadsheets

CSV-komma's, aanhalingstekens en regeleinden veilig parsen

Een klantbericht bevat een komma en een regeleinde. De export lijkt leesbaar, maar de volgende tool voegt een rij toe of verschuift een kolom. Het bestand kan geldige CSV zijn: een veld tussen aanhalingstekens mag beide tekens bevatten. Splitsen bij elke komma of nieuwe regel gooit die structuur weg.

De komma staat binnen het bericht
Uitleg gemaakt door de auteur op basis van het bewaarde voorbeeld; geen schermafbeelding van een toepassing.

Begin met een kleine kopie van de problematische export

Is een bericht naar de volgende rij verschoven, begin dan niet met het verwijderen van het regeleinde. Je kunt daarmee een deel van een klantadres of hulpvraag weghalen. Bewaar de export en kopieer de kop en twee of drie volledige records naar een apart testbestand. Neem een record met een komma, een met aanhalingstekens en een met een regeleinde op. Gebruik verzonnen waarden als je het moet delen.

Open die kopie in een gewone teksteditor, niet alleen een spreadsheet. Zoek het openingsaanhalingsteken vóór het probleemveld en volg het tot het sluitende teken. Een regeleinde daartussen hoort bij het veld. Twee aangrenzende aanhalingstekens binnen het veld stellen één letterlijk aanhalingsteken voor; ze sluiten het veld niet noodzakelijk af. Daardoor kan een bestand op het scherm vier regels lijken zonder vier records te bevatten.

Waarom één bericht over meerdere regels kan lopen

Een openbare melding over een shellcommando liet zien dat cut niet betrouwbaar een kolom uit zo'n bestand kon halen. In het bewaarde synthetische voorbeeld parseerde PowerShell 7.6.9 twee gegevensrecords en behield het eerste bericht exact, inclusief CRLF en het geciteerde woord. Dat is een parserresultaat, geen test van elke spreadsheetimporter.

id,message
001,"Hello, friend
He said ""yes""."
002,Plain

Er zijn vier fysieke regels inclusief de kop, maar slechts twee gegevensrecords. De dubbele aanhalingstekens stellen letterlijke aanhalingstekens binnen het geciteerde bericht voor. Verwijder niet alle aanhalingstekens om het bestand eenvoudiger te laten lijken.

Vergelijk waarden na het parsen
Uitleg gemaakt door de auteur op basis van het bewaarde voorbeeld; geen schermafbeelding van een toepassing.

Lees de CSV met een parser en controleer de waarden

Is Python al geïnstalleerd, sla het volgende dan op als check_csv.py naast input.csv. Voer vanuit die map python check_csv.py uit. Het script leest de invoer alleen. Het toont het aantal velden per record en maakt ingebedde regeleinden zichtbaar, zodat je ziet of de parser het bericht bij elkaar houdt.

import csv

with open("input.csv", encoding="utf-8", newline="") as source:
    reader = csv.reader(source, delimiter=",", strict=True)
    for record_number, fields in enumerate(reader, start=1):
        print("Record", record_number, "fields:", len(fields))
        for column, value in enumerate(fields, start=1):
            print("  Column", column, repr(value))

Het eerste record is de kop, dus het voorbeeld moet in totaal drie records opleveren, elk met twee velden. Het eerste gegevensbericht hoort zowel Hello, friend als He said "yes". in één veld te bevatten. Met dit script kun je jouw export controleren; het is niet vooraf op jouw bestand getest. Een decodeerfout betekent dat de aangenomen UTF-8-codering moet worden onderzocht; een CSV-parseerfout wijst op aanhalingstekens of dialect. Geen van beide rechtvaardigt automatisch weggooien van onleesbare tekens.

CSV-bron en geparste records na elkaar vergeleken: het geciteerde bericht van twee regels blijft één veld.
Door de auteur gemaakte voor-en-na-uitleg met een synthetisch CSV-voorbeeld dat met Python is gecontroleerd. Geen spreadsheet-schermafbeelding. Open de afbeelding voor details op volledige grootte.

Het script gaat uit van UTF-8; het is geen coderingsdetector of nieuw testresultaat. Geef het volledige bestand aan de parser in plaats van deze per tekstregel aan te roepen. Stel bij puntkommagescheiden gegevens het scheidingsteken overeenkomstig de export in.

Controleer de import voordat je het origineel vervangt

Dat beperkt het probleem tot de importmethode zonder te bewijzen dat de export kapot is. Gebruik de tekst/CSV-import van de spreadsheet en bekijk de preview vóór het laden. Stem het scheidingsteken af op de instelling van de producent en behoud identificaties als tekst wanneer voorloopnullen belangrijk zijn. De bediening verschilt per toepassing en versie. Importeer eerst hetzelfde kleine testbestand; experimenteer niet met de enige kopie van een productieblad.

Een geslaagde import houdt het bericht in één cel, behoudt aanhalingstekens en regeleinde en laat alle andere kolommen onder de juiste kop staan. Sla een apart resultaat op en open dat opnieuw via de bedoelde werkwijze. Een net raster is niet genoeg: vergelijk de volledige waarde van de lastige cel. Weigeren beide tools de bron, vraag de maker van de export dan welk scheidingsteken, welke codering en welke regels voor aanhalingstekens zijn gebruikt voordat je iets repareert.

Zijn de aanhalingstekens werkelijk ongeldig, bewaar dan de bron en vraag om een schone export. Een verdwaald aanhalingsteken kan verschillende dingen betekenen, dus een universele reparatie is onveilig. Een historische Excel 2007-melding beschrijft ook verschillen tussen importmethoden; die bewijst niet hoe een huidige Excel-installatie werkt. Test één representatief bestand via precies de beoogde importmethode.

Een CSV-testvoorbeeld heeft vier fysieke regels inclusief de kop, maar twee logische gegevensrecords; het eerste bericht behoudt komma, regeleinde en geciteerd woord.
Bewaarde oorspronkelijke uitleg.
Geregistreerde synthetische testuitvoer bij CSV-komma's, aanhalingstekens en regeleinden veilig parsen
Geregistreerde PowerShell ConvertFrom-Csv-uitvoer voor een synthetisch geciteerd veld met meerdere regels. Dit is vastgelegde testuitvoer, niet de toepassing van de oorspronkelijke melder. De bewijsafbeelding op volledige grootte openen.

Bronnen en verwante artikelen