Rút từ một pipeline đã chạy thật: 24.216 item thô, 11.922 ứng viên, 13 lần chạy phân loại, 18.529 dòng kết quả, 6.672 dòng dùng được. Mỗi mục dưới đây tương ứng với một lỗi đã xảy ra, kèm cách phát hiện.
Chống đếm hai lần
- 1. Khoá resume phải là thứ ổn định và duy nhất — id của item, không phải văn bản. Bản đầu dùng 150 ký tự đầu của text làm khoá, trùng nhau ở 1.903 dòng.
- 2. Kiểm tra trùng ở cả mức dòng và mức nội dung. Trong corpus có 518 nhóm cùng (nguồn, 160 ký tự đầu) nhưng trích dẫn khác nhau — 11.595 trích dẫn khác nhau nằm trên 15.784 dòng, tức cùng một item được phân loại nhiều lần, có nhóm lên tới 7 lần, không có nhãn nào chiếm đa số để tự động chọn.
- 3. Ghi id gốc của item vào kết quả. Bản này chỉ ghi khoá nội dung, nên không thể truy ngược về item thô để phân xử khi nhãn xung đột.
Chống mất âm thầm
- 4. Kiểm tra kiểu của mọi trường trong câu trả lời, không chỉ kiểm tra parse được JSON. 29 lần trường cách làm tạm trả về object thay vì chuỗi; code vẫn chạy, dữ liệu vẫn mất.
- 5. Coi mọi nhãn là dữ liệu không đáng tin cho tới khi đối chiếu với danh mục. 60% dòng có nhãn nằm ngoài taxonomy hoặc rỗng; nếu chỉ lọc theo “có nhãn” thì bảng xếp hạng đã sai.
Giữ khả năng diễn giải
- 6. Ghi lại phần đã cắt. Payload cắt mỗi item ở 1.100 ký tự, nhưng bản lưu không giữ độ dài gốc — nên không kiểm chứng được ảnh hưởng của việc cắt.
- 7. Ghi thời điểm thu cho từng item. Không có trường này thì mọi câu hỏi về xu hướng đều không trả lời được, dù dữ liệu đang nằm trong tay.
Đo được
- 8. Log số token đầu vào và đầu ra thật từ phía gateway. Không làm được điều này thì mọi con số chi phí chỉ là ước lượng, và không có cách nào biết bước nào tốn tiền nhất.
Ba thứ không phải kiểm tra
- Nhãn model trả về có phân bố hợp lý: 22 nhãn, nhãn ít nhất 27 lần, nhiều nhất 1.162 lần. Không cần thêm kiểm tra.
- Mức nặng: trung bình 3,31, độ lệch chuẩn 0,89, dải 1–5. Dùng được nguyên.
- Gọi lại khi JSON hỏng: chia batch làm đôi rồi thử lại, khi thất bại nữa thì bỏ. Đơn giản và không cần cơ chế nặng hơn.
Cách áp dụng vào một pipeline thật: thu dữ liệu và phân loại bằng LLM.