安全解析 CSV 中的逗號、引號與換行
客戶訊息裡有逗號和換行,匯出檔看來正常,下一個工具卻多出資料列或發生欄位偏移。檔案可能仍是有效 CSV:被引號包住的欄位可以同時含有這兩種字元。逢逗號或換行就切割,反而會破壞原有結構。
先複製一小段有問題的匯出資料
訊息跑到下一列時,不要先刪除它的換行。這可能刪掉客戶地址或支援需求的一部分。保留原始匯出檔,再把標題與兩三筆完整紀錄複製成獨立測試檔。請包含有逗號、有引號,以及有換行的紀錄;需要分享時改用虛構值。
用純文字編輯器查看副本,不要只用試算表。找到問題欄位開頭的引號,再追蹤到結尾引號。這一對引號之間的換行屬於欄位內容。欄位中相鄰的兩個引號代表一個字面上的引號,不一定表示欄位已結束。因此,畫面上看似四行的檔案,不一定包含四筆紀錄。
一則訊息為什麼變成好幾行?
一則 shell 指令的公開案例指出,cut 無法可靠地從這種檔案擷取指定欄位。在保留的人工測試資料中,PowerShell 7.6.9 解析出兩筆資料,並完整保留第一則訊息,包括 CRLF 與被引號包住的單字。這是解析器結果,不是對所有試算表匯入工具的測試。
id,message
001,"Hello, friend
He said ""yes""."
002,Plain
包含標題共有四個實體行,但只有兩筆資料紀錄。雙重引號代表被引號包住的訊息中的字面引號。不要為了讓檔案看起來簡單,就把所有引號都刪除。
使用解析器,檢查實際欄位值
若已安裝 Python,可將下列程式存為 check_csv.py,放在 input.csv 旁邊,再從該資料夾執行 python check_csv.py。程式只讀取輸入,會列出每筆紀錄的欄位數,並將欄位內換行顯示出來,讓你確認解析器是否把一則訊息完整保留在同一欄。
import csv
with open("input.csv", encoding="utf-8", newline="") as source:
reader = csv.reader(source, delimiter=",", strict=True)
for record_number, fields in enumerate(reader, start=1):
print("Record", record_number, "fields:", len(fields))
for column, value in enumerate(fields, start=1):
print(" Column", column, repr(value))
第一筆是標題,所以上方範例總共應產生三筆紀錄,每筆有兩個欄位。第一筆資料的訊息應在同一欄中同時包含 Hello, friend 與 He said "yes".。這是檢查方法,不代表已對你的匯出檔執行過。解碼錯誤表示需要檢查 UTF-8 假設;CSV 解析錯誤則可能與引號或格式變體有關。兩者都不是自動丟棄無法閱讀字元的理由。
程式假設來源為 UTF-8,不是編碼偵測器,也不代表新的測試結果。應將完整檔案交給解析器,不要把每個文字行分開呼叫解析器。分號分隔的資料,則須將分隔符號設為與匯出格式一致。
取代原始資料前,先確認匯入結果
這能將問題縮小到匯入流程,而不是直接認定匯出檔壞了。使用試算表的文字/CSV 匯入功能,載入前先檢查預覽。分隔符號要符合產生端設定,若開頭零有意義,識別碼應保留為文字。實際控制項依應用程式與版本而異。先匯入同一份小型測試檔,不要在正式工作表唯一的副本上實驗。
成功匯入後,訊息應留在同一個儲存格,保留引號與換行,其他欄也都在正確標題下。另存結果後,依預定流程重新開啟。整齊的表格還不夠,必須比對那個複雜儲存格的完整值。如果兩個工具都拒絕來源,修復前應先向匯出端確認分隔符號、編碼與引號規則。
如果引號確實不完整,請保留來源並要求重新匯出。多出的一個引號可能有不同意義,通用修復方式並不安全。一則歷史 Excel 2007 案例也提到不同匯入路徑的差異,但不能據此推定目前 Excel 的行為。請用代表性檔案,測試你真正打算使用的匯入流程。
