Ba hệ được chạy trên đúng 300 mẫu test của AG News (4 lớp: world, sports, business, sci_tech), cùng một câu hỏi, cùng máy 36 core không GPU. Đây là phân loại ngoài miền huấn luyện của cả ba, nên kết quả nói về khả năng tổng quát chứ không phải học thuộc.
Kết quả
- laya (ModernBERT-large 421M, chạy local): độ chính xác 0,9533 · sai số hiệu chuẩn ECE 0,2150 · confidence trung bình 0,739 · 236 ms/mẫu · 0 token
- open-jev-deberta-v3-large (DeBERTa-v3-large, chạy local): 0,7167 · ECE 0,1032 · 304 ms/mẫu
- Jev API (jev-1.13.0): 0,8400 · ECE 0,1012 · confidence 0,935 · 521 ms/call · 417 token/call · 0 lỗi trên 300 call
Con số quyết định là coverage ở ngưỡng gate
Điểm mạnh của loại model này là dùng confidence để quyết định việc gì xử lý tại chỗ và việc gì đẩy lên LLM. Ở ngưỡng confidence ≥ 0,7: laya phủ 67% lưu lượng với độ chính xác 99,5%; bản DeBERTa phủ 38% với 84,3% (và chỉ 3/300 mẫu đạt ≥ 0,85). Jev phủ 85% lưu lượng ở ngưỡng ≥ 0,85 với 89,8%. Muốn tiết kiệm token nhiều nhất thì laya thắng; muốn xử lý tại chỗ được nhiều việc nhất thì Jev thắng.
Guardrail là chỗ chênh nhau rõ nhất
Cùng 12 prompt nguy hiểm và 12 prompt lành: Jev cho điểm tổn hại 3,00 với nhóm nguy hiểm và 0,03 với nhóm lành, bắt 12/12, không báo nhầm lần nào. laya cho 1,70 so với 0,99, chỉ 3/12 đạt ngưỡng, jailbreak 9/12 kèm 1 lần báo nhầm. Nếu dùng làm lớp kiểm tra hành động thì khoảng cách này quan trọng hơn độ chính xác phân loại.
Khuyến nghị
- Kiểm duyệt, chống jailbreak, kiểm tra hành động trước khi thực thi: dùng Jev API — 0,042 USD/triệu token vào, token ra miễn phí, khoảng 0,018 USD cho 1.000 lần gọi.
- Phân loại khối lượng lớn cần độ chính xác cao và không tốn token: chạy laya local.
- Cần self-host mà vẫn muốn hiệu chuẩn tốt: bản DeBERTa mở, chấp nhận độ chính xác thấp hơn.
- Không dùng cả ba cho việc cần tính toán, so sánh ngưỡng hay quyết định khối lượng vào lệnh — chi tiết ở bài Giá trị ẩn nằm ở thời điểm có dữ liệu.
Nguồn: laya trên Hugging Face, tài liệu Jev của TypeSafe, open-jev-deberta-v3-large, repo typed-decisions.