Hopp til innholdet
FrAIFlow

Solutions / CSV og regneark

Tolk komma, anførselstegn og linjeskift i CSV trygt

En kundemelding inneholder et komma og et linjeskift. Eksporten ser lesbar ut, men neste verktøy legger til en rad eller forskyver en kolonne. Filen kan være gyldig CSV: Et felt i anførselstegn kan inneholde begge tegnene. Deling ved hvert komma eller linjeskift ødelegger denne strukturen.

Kommaet står inne i meldingen
Egenlaget forklaring basert på det bevarte eksemplet; ikke et skjermbilde fra et program.

Start med en liten kopi av eksporten som gir problemer

Har en melding havnet på neste rad, bør du ikke starte med å slette linjeskiftet. Da kan du fjerne en del av kundens adresse eller støttehenvendelse. Behold originaleksporten, og kopier overskriften og to eller tre hele poster til en separat testfil. Ta med én post med komma, én med anførselstegn og én med linjeskift. Bruk oppdiktede verdier hvis filen skal deles.

Åpne kopien i et rent tekstredigeringsprogram, ikke bare i et regneark. Finn anførselstegnet som åpner problemfeltet, og følg feltet frem til det avsluttende anførselstegnet. Et linjeskift mellom disse tilhører feltet. To tilstøtende anførselstegn inne i feltet representerer ett bokstavelig anførselstegn; de avslutter ikke nødvendigvis feltet. Derfor kan en fil se ut som fire linjer på skjermen uten å inneholde fire poster.

Derfor blir én melding til flere linjer

En offentlig rapport om skallkommandoer viste at cut ikke kunne hente en kolonne pålitelig fra denne typen fil. I det bevarte syntetiske testmaterialet tolket PowerShell 7.6.9 to dataposter og bevarte den første meldingen nøyaktig, inkludert CRLF og ordet i anførselstegn. Dette er et parserresultat, ikke en test av alle regnearkimportører.

id,message
001,"Hello, friend
He said ""yes""."
002,Plain

Det er fire fysiske linjer medregnet overskriften, men bare to dataposter. De doble anførselstegnene representerer bokstavelige anførselstegn inne i meldingen. Ikke fjern alle anførselstegn for å få filen til å se enklere ut.

Sammenlign verdiene etter tolking
Egenlaget forklaring basert på det bevarte eksemplet; ikke et skjermbilde fra et program.

Kjør en parser og undersøk de faktiske verdiene

Hvis Python allerede er installert, lagrer du følgende som check_csv.py ved siden av input.csv. Kjør python check_csv.py fra den mappen. Skriptet leser bare inndataene. Det skriver ut antall felt i hver post og gjør innebygde linjeskift synlige, slik at du ser om parseren holdt meldingen samlet.

import csv

with open("input.csv", encoding="utf-8", newline="") as source:
    reader = csv.reader(source, delimiter=",", strict=True)
    for record_number, fields in enumerate(reader, start=1):
        print("Record", record_number, "fields:", len(fields))
        for column, value in enumerate(fields, start=1):
            print("  Column", column, repr(value))

Første post er overskriften, så eksemplet over skal gi tre poster totalt, hver med to felt. Meldingen i første datapost skal inneholde både Hello, friend og He said "yes". i ett felt. Skriptet er en oppskrift for undersøkelse, ikke en påstand om at det er kjørt på din eksport. En dekodingsfeil betyr at antakelsen om UTF-8 må undersøkes. En CSV-tolkingsfeil peker mot filens anførselstegn eller dialekt. Ingen av delene er grunn til automatisk å fjerne uleselige tegn.

CSV-kilde og tolkede poster vist side om side i rekkefølge: Meldingen på to linjer i anførselstegn forblir ett felt.
Egenlaget før-og-etter-forklaring med syntetisk CSV-testmateriale kontrollert i Python. Ikke et regnearkskjermbilde. Åpne bildet for detaljer i full størrelse.

Skriptet forutsetter UTF-8; det er ingen tegnkodingsdetektor eller et nytt testresultat. Send hele filen til parseren i stedet for å kalle den separat for hver tekstlinje. For semikolondelte data setter du skilletegnet til det eksporten bruker.

Kontroller importen før du erstatter originalen

Dette avgrenser problemet til importmåten uten å bevise at eksporten er ødelagt. Bruk regnearkets tekst-/CSV-import og undersøk forhåndsvisningen før innlasting. Velg samme skilletegn som produsenten, og sørg for at identifikatorer forblir tekst hvis innledende nuller er viktige. De nøyaktige valgene varierer med program og versjon. Importer den samme lille testfilen først. Ikke eksperimenter på eneste kopi av et produksjonsregneark.

En vellykket import holder meldingen i én celle, bevarer anførselstegn og linjeskift, og lar alle andre kolonner stå under riktig overskrift. Lagre et separat resultat og åpne det igjen med den planlagte arbeidsflyten. Et pent rutenett er ikke nok: Sammenlign hele verdien i den vanskelige cellen. Avviser begge verktøyene kilden, ber du eksportøren om regler for skilletegn, tegnkoding og anførselstegn før du forsøker reparasjon.

Er anførselstegnene faktisk ugyldige, beholder du kilden og ber om en ren eksport. Et løst anførselstegn kan bety flere ting, så en universell reparasjon er utrygg. En historisk Excel 2007-rapport beskriver også forskjeller mellom importmåter; den fastslår ikke hvordan en nyere Excel-installasjon oppfører seg. Test én representativ fil gjennom nøyaktig den importmåten du skal bruke.

CSV-testmaterialet har fire fysiske linjer medregnet overskriften, men to logiske dataposter. Første melding beholder komma, linjeskift og ordet i anførselstegn.
Opprinnelig forklaring er bevart.
Registrert syntetisk testresultat for trygg tolking av komma, anførselstegn og linjeskift i CSV
Registrert PowerShell ConvertFrom-Csv-resultat for et syntetisk flerlinjefelt i anførselstegn. Dette er et bilde av registrerte testresultater, ikke programmet til den opprinnelige rapportøren. Åpne dokumentasjonsbildet i full størrelse.

Kilder og beslektet lesning