本文へスキップ
FrAIFlow

トラブル解決 / CSV・表計算

CSVのカンマ・引用符・改行を安全に読む

顧客のメッセージにカンマと改行がある。書き出したファイルは普通に読めるのに、次のツールでは行が増えたり列がずれたりする。ファイル自体は正しいCSVかもしれません。引用符で囲まれたフィールドには両方を含められます。すべてのカンマや改行で分割すると、その構造を失います。

CSVのレコードと物理的な行の違い
保存済みの例に基づく筆者作成の説明図です。アプリのスクリーンショットではありません。

問題のある出力から小さなコピーを作る

メッセージが次の行にはみ出していても、いきなり改行を削らないでください。顧客の住所や問い合わせの一部を失うおそれがあります。元の書き出しファイルを残し、見出しと完全な2〜3レコードを別のテストファイルへコピーします。カンマ、引用符、改行を含むレコードを入れましょう。共有するなら架空の値を使います。

そのコピーを、表計算ソフトだけでなくプレーンテキストエディターでも開きます。問題のフィールドの開き引用符を探し、閉じ引用符まで追ってください。その内側の改行はフィールドの一部です。フィールド内の連続した二つの引用符は、引用符一文字を表し、必ずしもフィールドの終わりではありません。画面で4行に見えても4レコードとは限らない理由です。

一つのメッセージが複数行に見える理由

公開されているシェルコマンドの相談では、cutではこの形式の列を確実に取り出せませんでした。保存済みの人工データ試験では、PowerShell 7.6.9が2データレコードを解析し、最初のメッセージのCRLFと引用符付きの単語を含め、そのまま保持しました。これはパーサーの結果であり、すべての表計算ソフトの取り込みを検証したものではありません。

id,message
001,"Hello, friend
He said ""yes""."
002,Plain

見出しを含めると物理的には4行ですが、データレコードは2件です。二重にした引用符は、引用符で囲まれたメッセージ内の引用符そのものを表します。見た目を単純にするために引用符を全部削ってはいけません。

引用符付きフィールドを一つの値として読む
保存済みの例に基づく筆者作成の説明図です。アプリのスクリーンショットではありません。

パーサーを動かして実際の値を見る

Pythonがすでに入っているなら、以下をcheck_csv.pyとして、input.csvと同じ場所に保存します。そのフォルダーでpython check_csv.pyを実行してください。このスクリプトは入力を読むだけです。各レコードのフィールド数と、内部の改行を見える形で表示するので、メッセージがひとまとまりに保たれたか確認できます。

import csv

with open("input.csv", encoding="utf-8", newline="") as source:
    reader = csv.reader(source, delimiter=",", strict=True)
    for record_number, fields in enumerate(reader, start=1):
        print("Record", record_number, "fields:", len(fields))
        for column, value in enumerate(fields, start=1):
            print("  Column", column, repr(value))

先頭は見出しなので、上の例は合計3レコードで、それぞれ2フィールドになるはずです。最初のデータメッセージには、Hello, friendとHe said "yes".の両方が一つのフィールドに含まれます。このスクリプトは確認手順であり、読者の出力ファイルで実行済みという意味ではありません。復号エラーなら想定したUTF-8を調べ、CSV解析エラーなら引用符や方言を調べます。どちらも読めない文字を自動的に捨ててよい理由にはなりません。

人工CSV例を使った、正しい解析と単純分割の比較。表計算ソフトの画面ではない
Pythonで確認した人工的なCSV試験データの、筆者作成の前後比較図です。表計算ソフトのスクリーンショットではありません。画像を開くと原寸で確認できます。

このスクリプトはUTF-8を前提とし、文字コード検出器でも新しいテスト結果でもありません。テキストの行ごとに別々に渡さず、ファイル全体をパーサーへ渡してください。セミコロン区切りなら、出力形式に合わせて区切り文字を指定します。

元ファイルを置き換える前に取り込みを確認する

これで出力ファイルが壊れていると決めつけず、取り込み経路に問題を絞れます。表計算ソフトのテキスト・CSV取り込みを使い、読み込む前にプレビューを確認します。区切り文字を生成側に合わせ、先頭ゼロが重要なIDはテキストのままにしてください。操作項目はアプリやバージョンで異なります。まず同じ小さなテストファイルを読み込み、本番の表の唯一のコピーで実験しないようにしましょう。

正しく取り込めれば、メッセージが一つのセルに入り、引用符と改行が残り、ほかの列も正しい見出しの下に並びます。結果を別に保存し、実際に使う経路で開き直します。整った表に見えるだけでは不十分です。問題のセルの値全体を比較してください。二つのツールとも拒否するなら、修復前に出力元へ区切り文字、文字コード、引用符の規則を確認します。

本当に引用符が壊れているなら、元を残して正しい書き出しを依頼します。余分に見える引用符にも複数の意味があり、万能の修復は安全ではありません。過去のExcel 2007の相談にも取り込み経路による違いがありますが、現在のExcelの動作を証明するものではありません。代表的なファイル一つを、実際に使う取り込み経路で試してください。

既存の説明図
既存の説明資料を保持しています。
人工的な複数行CSVフィールドの解析記録
人工的な引用符付き複数行フィールドに対するPowerShell ConvertFrom-Csvの記録結果です。記録済みテスト出力のキャプチャであり、元の相談者のアプリ画面ではありません。検証画像を原寸で開く。

出典・関連資料