Chuyển đến nội dung
FrAIFlow

Giải pháp

Sửa lỗi Extra data bằng cách nhận biết JSON Lines

Khi bộ phân tích chấp nhận đối tượng đầu rồi lỗi ở đối tượng kế, kiểm tra định dạng chứa trước khi sửa dữ liệu. Một tài liệu JSON chỉ có một giá trị cấp cao nhất. JSON Lines lưu một giá trị JSON hoàn chỉnh trên mỗi dòng. Hai đối tượng hợp lệ cạnh nhau chưa chắc tạo thành một tài liệu hợp lệ.

Một trường hợp chuyển JSONL sang CSV lỗi tại dòng hai. Trong thảo luận khác, script ghi nối các đối tượng đã tuần tự hóa; người đăng xác nhận thêm xuống dòng sau mỗi đối tượng đã sửa đúng đầu ra theo dòng dự định. Những báo cáo này không có nghĩa mọi lỗi Extra data đều là JSON Lines.

Chọn trình đọc phù hợp với tệp

Mở bản sao trong trình soạn thảo và xem vài bản ghi đầu. Nếu mỗi đối tượng hoàn chỉnh nằm trên một dòng vật lý, có thể là JSON Lines. Nếu một đối tượng trải nhiều dòng, cách này không phù hợp. Nếu các đối tượng nối nhau không có phân cách, sửa bên ghi hoặc dùng bộ phân tích được thiết kế cho luồng đó; tách tại ngoặc đóng sẽ phá đối tượng lồng nhau và văn bản có ngoặc.

Với JSON Lines nhỏ, hàm JavaScript này giữ số dòng khi phân tích thất bại. Nó cho phép một xuống dòng cuối nhưng không âm thầm bỏ bản ghi trống.

function readJsonLines(text) {
  if (text === "") return [];
  const lines = text.split(/\r?\n/);
  if (lines.at(-1) === "") lines.pop();
  return lines.map((line, i) => {
    if (!line.trim()) throw new Error(`Blank record on line ${i + 1}`);
    try { return JSON.parse(line); }
    catch { throw new Error(`Invalid JSON on line ${i + 1}`); }
  });
}
const source = '{"id":"001"}\n{"id":"002"}\n';
const records = readJsonLines(source);
console.log(records.length); // 2
const ordinaryJson = JSON.stringify(records, null, 2);
const jsonLines = records.map(item => JSON.stringify(item)).join("\n") + "\n";

Chọn ordinaryJson khi chương trình nhận cần một tài liệu mảng. Chọn jsonLines khi nó cần mỗi dòng một bản ghi. Đừng thêm dấu phẩy giữa các bản ghi dạng sau. Với tập bản ghi rỗng, ghi tệp JSON Lines rỗng thay vì một xuống dòng đơn do biểu thức ví dụ cuối tạo ra.

Đối chiếu số bản ghi phân tích với số nguồn dự kiến và kiểm tra ID đầu-cuối. Nếu một dòng lỗi, xem dòng đó trong bản gốc. Bỏ qua có thể làm chuyển đổi “hoàn tất” nhưng âm thầm mất đơn hàng hoặc sự kiện log. Báo số dòng an toàn hơn ghi cả bản ghi nếu chứa thông tin riêng tư.

Khi tệp quá lớn để giữ thoải mái trong bộ nhớ, thay hàm tệp nhỏ bằng bộ đọc dòng theo luồng. Giữ cùng kiểm tra lỗi và số bản ghi. JSON Lines giải quyết ranh giới bản ghi; nó không tự làm phẳng giá trị lồng nhau thành cột CSV.

Ranh giới bản ghi là một phần định dạng

Hàm chấp nhận kết thúc LF và CRLF, không chấp nhận CR riêng. Đuôi .json không đủ xác định định dạng bản ghi. Nếu đích là CSV, quyết định ánh xạ trường thiếu và trường lồng vào cột, rồi dùng bộ ghi CSV xử lý dấu phẩy, ngoặc kép và xuống dòng nhúng.

Hai bản ghi / {"id":"001"} / {"id":"002"}
Hình giải thích do tác giả tạo, không phải ảnh chụp ứng dụng.

Mẫu Node v24.19.0 của chúng tôi dùng {"id":"001"} và {"id":"002"} trên các dòng riêng. Phân tích cả đầu vào lỗi ở đối tượng thứ hai; phân tích hai dòng cho hai bản ghi, và JSON.stringify(records) tạo tài liệu mảng hợp lệ. Thông báo và vị trí lỗi tùy môi trường.

Chọn rõ định dạng cho tệp đầu ra

Tài liệu Python cảnh báo gọi dump lặp lại không tạo một tài liệu JSON hợp lệ: JSON không phải giao thức có phân khung. Đuôi .json chưa cho biết tệp chứa một tài liệu hay nhiều bản ghi riêng. Xác nhận định dạng mong đợi với công cụ sẽ đọc.

Hai dòng JSON có mã 001 và 002 được đối chiếu với mảng JSON chứa cả hai bản ghi.
Hình giải thích bổ trợ, không phải ảnh chụp ứng dụng.
Kết quả Node.js: đọc như một tài liệu gây lỗi, còn đọc từng dòng giữ được hai bản ghi JSON.
Kết quả thử nghiệm cục bộ đã lưu. Mở ảnh để xem bằng chứng gốc.
Nguồn, ví dụ và bài đọc thêm