CSV-komma's, aanhalingstekens en regeleinden veilig parsen
Een klantbericht bevat een komma en een regeleinde. De export lijkt leesbaar, maar de volgende tool voegt een rij toe of verschuift een kolom. Het bestand kan geldige CSV zijn: een veld tussen aanhalingstekens mag beide tekens bevatten. Splitsen bij elke komma of nieuwe regel gooit die structuur weg.
Begin met een kleine kopie van de problematische export
Is een bericht naar de volgende rij verschoven, begin dan niet met het verwijderen van het regeleinde. Je kunt daarmee een deel van een klantadres of hulpvraag weghalen. Bewaar de export en kopieer de kop en twee of drie volledige records naar een apart testbestand. Neem een record met een komma, een met aanhalingstekens en een met een regeleinde op. Gebruik verzonnen waarden als je het moet delen.
Open die kopie in een gewone teksteditor, niet alleen een spreadsheet. Zoek het openingsaanhalingsteken vóór het probleemveld en volg het tot het sluitende teken. Een regeleinde daartussen hoort bij het veld. Twee aangrenzende aanhalingstekens binnen het veld stellen één letterlijk aanhalingsteken voor; ze sluiten het veld niet noodzakelijk af. Daardoor kan een bestand op het scherm vier regels lijken zonder vier records te bevatten.
Waarom één bericht over meerdere regels kan lopen
Een openbare melding over een shellcommando liet zien dat cut niet betrouwbaar een kolom uit zo'n bestand kon halen. In het bewaarde synthetische voorbeeld parseerde PowerShell 7.6.9 twee gegevensrecords en behield het eerste bericht exact, inclusief CRLF en het geciteerde woord. Dat is een parserresultaat, geen test van elke spreadsheetimporter.
id,message
001,"Hello, friend
He said ""yes""."
002,Plain
Er zijn vier fysieke regels inclusief de kop, maar slechts twee gegevensrecords. De dubbele aanhalingstekens stellen letterlijke aanhalingstekens binnen het geciteerde bericht voor. Verwijder niet alle aanhalingstekens om het bestand eenvoudiger te laten lijken.
Lees de CSV met een parser en controleer de waarden
Is Python al geïnstalleerd, sla het volgende dan op als check_csv.py naast input.csv. Voer vanuit die map python check_csv.py uit. Het script leest de invoer alleen. Het toont het aantal velden per record en maakt ingebedde regeleinden zichtbaar, zodat je ziet of de parser het bericht bij elkaar houdt.
import csv
with open("input.csv", encoding="utf-8", newline="") as source:
reader = csv.reader(source, delimiter=",", strict=True)
for record_number, fields in enumerate(reader, start=1):
print("Record", record_number, "fields:", len(fields))
for column, value in enumerate(fields, start=1):
print(" Column", column, repr(value))
Het eerste record is de kop, dus het voorbeeld moet in totaal drie records opleveren, elk met twee velden. Het eerste gegevensbericht hoort zowel Hello, friend als He said "yes". in één veld te bevatten. Met dit script kun je jouw export controleren; het is niet vooraf op jouw bestand getest. Een decodeerfout betekent dat de aangenomen UTF-8-codering moet worden onderzocht; een CSV-parseerfout wijst op aanhalingstekens of dialect. Geen van beide rechtvaardigt automatisch weggooien van onleesbare tekens.
Het script gaat uit van UTF-8; het is geen coderingsdetector of nieuw testresultaat. Geef het volledige bestand aan de parser in plaats van deze per tekstregel aan te roepen. Stel bij puntkommagescheiden gegevens het scheidingsteken overeenkomstig de export in.
Controleer de import voordat je het origineel vervangt
Dat beperkt het probleem tot de importmethode zonder te bewijzen dat de export kapot is. Gebruik de tekst/CSV-import van de spreadsheet en bekijk de preview vóór het laden. Stem het scheidingsteken af op de instelling van de producent en behoud identificaties als tekst wanneer voorloopnullen belangrijk zijn. De bediening verschilt per toepassing en versie. Importeer eerst hetzelfde kleine testbestand; experimenteer niet met de enige kopie van een productieblad.
Een geslaagde import houdt het bericht in één cel, behoudt aanhalingstekens en regeleinde en laat alle andere kolommen onder de juiste kop staan. Sla een apart resultaat op en open dat opnieuw via de bedoelde werkwijze. Een net raster is niet genoeg: vergelijk de volledige waarde van de lastige cel. Weigeren beide tools de bron, vraag de maker van de export dan welk scheidingsteken, welke codering en welke regels voor aanhalingstekens zijn gebruikt voordat je iets repareert.
Zijn de aanhalingstekens werkelijk ongeldig, bewaar dan de bron en vraag om een schone export. Een verdwaald aanhalingsteken kan verschillende dingen betekenen, dus een universele reparatie is onveilig. Een historische Excel 2007-melding beschrijft ook verschillen tussen importmethoden; die bewijst niet hoe een huidige Excel-installatie werkt. Test één representatief bestand via precies de beoogde importmethode.

Bronnen en verwante artikelen
- Oorspronkelijk verklarend diagram
- Geciteerde komma's en regeleinden zijn niet met cut te verwerken
- Ingebed aanhalingsteken maakt een extra veld
- Melding over het parsen van ongeldige CSV
- Historische Excel 2007-melding
- Python-documentatie over CSV-dialecten en regeleinden
- Oorspronkelijk visueel bewijsmateriaal
- Behoud voorloopnullen en lange ID's bij CSV-import
- CSV opent in één kolom: kies het juiste scheidingsteken