Pular para o conteúdo
FrAIFlow

Soluções / CSV e planilhas

Leia com segurança vírgulas, aspas e quebras de linha em CSV

A mensagem de um cliente contém uma vírgula e uma quebra de linha. A exportação parece legível, mas a próxima ferramenta acrescenta uma linha ou desloca uma coluna. O CSV pode ser válido: um campo entre aspas pode conter ambos os caracteres. Dividir em toda vírgula ou quebra de linha destrói essa estrutura.

A vírgula está dentro da mensagem
Explicação criada pelos autores com base no exemplo preservado; não é uma captura de aplicativo.

Comece com uma pequena cópia da exportação problemática

Se uma mensagem foi parar na linha seguinte, não comece apagando a quebra de linha. Isso pode remover parte do endereço ou da solicitação de suporte de um cliente. Preserve a exportação original e copie o cabeçalho e dois ou três registros completos para um arquivo de teste separado. Inclua um registro com vírgula, um com aspas e um com quebra de linha. Use valores fictícios se precisar compartilhá-lo.

Abra a cópia em um editor de texto simples, não apenas em uma planilha. Encontre a aspa que abre o campo problemático e acompanhe até a aspa de fechamento. Uma quebra de linha dentro desse par pertence ao campo. Duas aspas adjacentes dentro do campo representam uma aspa literal; não necessariamente encerram o campo. É por isso que um arquivo pode parecer ter quatro linhas na tela sem conter quatro registros.

Por que uma mensagem ocupa várias linhas

Um relato público sobre comandos de shell constatou que cut não conseguia extrair com segurança uma coluna desse tipo de arquivo. Na amostra sintética preservada, PowerShell 7.6.9 interpretou dois registros de dados e preservou exatamente a primeira mensagem, incluindo seu CRLF e a palavra entre aspas. É um resultado do parser, não um teste de todos os importadores de planilhas.

id,message
001,"Hello, friend
He said ""yes""."
002,Plain

Há quatro linhas físicas contando o cabeçalho, mas apenas dois registros de dados. As aspas duplicadas representam caracteres de aspas literais dentro da mensagem delimitada por aspas. Não remova todas as aspas para simplificar a aparência do arquivo.

Compare os valores depois da interpretação
Explicação criada pelos autores com base no exemplo preservado; não é uma captura de aplicativo.

Execute um parser e examine os valores reais

Se o Python já estiver instalado, salve o código abaixo como check_csv.py ao lado de input.csv. Execute python check_csv.py nessa pasta. O script apenas lê a entrada. Ele mostra a quantidade de campos de cada registro e torna visíveis os caracteres de quebra de linha internos, para você conferir se o parser manteve a mensagem inteira.

import csv

with open("input.csv", encoding="utf-8", newline="") as source:
    reader = csv.reader(source, delimiter=",", strict=True)
    for record_number, fields in enumerate(reader, start=1):
        print("Record", record_number, "fields:", len(fields))
        for column, value in enumerate(fields, start=1):
            print("  Column", column, repr(value))

O primeiro registro é o cabeçalho, então o exemplo acima deve produzir três registros no total, cada um com dois campos. A primeira mensagem de dados deve conter tanto Hello, friend quanto He said "yes". em um único campo. O script é um procedimento de inspeção, não uma afirmação de que foi executado na sua exportação. Um erro de decodificação indica que a codificação UTF-8 presumida precisa ser investigada; um erro de parsing CSV aponta para as aspas ou o dialeto do arquivo. Nenhum deles justifica descartar automaticamente caracteres ilegíveis.

Origem CSV e registros interpretados lado a lado em sequência: a mensagem de duas linhas entre aspas permanece em um campo.
Explicação autoral de antes e depois usando uma amostra CSV sintética conferida com Python. Não é uma captura de planilha. Abra a imagem para ver os detalhes em tamanho original.

O script presume UTF-8; não é um detector de codificação nem um novo resultado de teste. Forneça o arquivo completo ao parser em vez de chamá-lo separadamente para cada linha de texto. Para dados separados por ponto e vírgula, ajuste o delimitador à exportação.

Confira a importação antes de substituir o original

Isso restringe o problema ao caminho de importação, em vez de provar que a exportação está quebrada. Use a função de importação de texto/CSV da planilha e examine a prévia antes de carregar. Use o separador definido pelo produtor e mantenha identificadores como texto quando zeros à esquerda importarem. Os controles exatos variam por aplicativo e versão. Importe primeiro o mesmo pequeno arquivo de teste; não experimente na única cópia de uma planilha de produção.

Uma importação correta mantém a mensagem em uma célula, preserva suas aspas e sua quebra de linha e deixa as demais colunas sob os cabeçalhos corretos. Salve um resultado separado e reabra-o pelo fluxo pretendido. Uma grade organizada não basta: compare o valor completo da célula problemática. Se ambas as ferramentas rejeitarem a origem, peça ao exportador suas regras de delimitador, codificação e aspas antes de tentar corrigir.

Se as aspas estiverem realmente malformadas, preserve a origem e solicite uma exportação correta. Uma aspa solta pode significar coisas diferentes, então uma correção universal é insegura. Um relato histórico sobre Excel 2007 também descreve diferenças entre caminhos de importação; não estabelece como uma instalação atual do Excel se comportará. Teste um arquivo representativo no caminho exato que pretende usar.

Uma amostra CSV tem quatro linhas físicas contando o cabeçalho, mas dois registros lógicos de dados; a primeira mensagem preserva vírgula, quebra de linha e palavra entre aspas.
Explicação original preservada.
Saída registrada do teste sintético de leitura segura de vírgulas, aspas e quebras de linha em CSV
Saída registrada de ConvertFrom-Csv do PowerShell para um campo sintético multilinha entre aspas. É uma captura da saída de teste registrada, não do aplicativo do autor do relato. Abrir a imagem de evidência em tamanho original.

Fontes e leituras relacionadas