5 lý do chatbot AI trả lời sai
1. Bot trả lời từ kiến thức chung, không từ tài liệu của bạn
Mô hình AI học từ rất nhiều văn bản trên internet. Khi thiếu thông tin, nó điền vào chỗ trống bằng điều nghe hợp lý: một mức học phí “thường gặp”, một chính sách đổi trả “phổ biến”. Câu trả lời nghe đúng, nhưng không phải của bạn.
2. Tài liệu cũ hoặc mâu thuẫn nhau
Bảng giá năm ngoái và năm nay cùng nằm trong tài liệu, hoặc website ghi một giá còn file Excel ghi giá khác. Bot có thể lấy nhầm bản cũ.
3. Tìm nhầm đoạn tài liệu
Khách hỏi “lớp tối”, tài liệu ghi “ca 18h30”. Nếu hệ thống tìm kiếm không hiểu hai cách nói là một, bot không thấy đoạn đúng và trả lời bằng một đoạn gần giống.
4. Bot được dặn phải luôn trả lời
Nhiều bot được cài để “luôn giúp khách”. Khi thiếu thông tin, bot cố trả lời thay vì nói là chưa biết.
5. Câu hỏi nối tiếp mất ngữ cảnh
Khách hỏi lớp IELTS, rồi hỏi tiếp “còn cuối tuần thì sao?”. Nếu bot không hiểu câu sau vẫn nói về lớp IELTS, nó có thể trả lời về một khoá khác.
Trả lời có căn cứ: bot chỉ nói điều có trong tài liệu
Cách làm phổ biến để giảm sai là bắt bot trả lời từ tài liệu. Với mỗi câu hỏi, hệ thống tìm vài đoạn liên quan trong tài liệu của bạn, đưa cho AI và dặn chỉ được dùng các đoạn đó. Bot vẫn viết câu tự nhiên, nhưng nội dung phải có nguồn.
Khi chọn chatbot, hỏi xem bạn có thấy được đoạn tài liệu bot đã dùng cho từng câu không. Không thấy nguồn thì khó biết bot sai vì tài liệu hay vì bot.
Bot phải biết nói “chưa có thông tin”
Một chatbot đáng tin không phải bot trả lời được mọi câu, mà là bot biết lúc nào phải dừng. Câu “bên mình chưa có thông tin về việc này, anh/chị liên hệ số…” tốt hơn nhiều so với một mức giá đoán.
Cách thử: soạn 5 câu bạn chắc chắn tài liệu không có, như một ưu đãi chưa từng chạy hay một dịch vụ bạn không làm. Hỏi bot cả 5 câu. Bot đoán dù chỉ một câu là dấu hiệu cần cân nhắc.
Chạy thử trên tin nhắn thật trước khi bật
Hỏi thử bằng câu bạn tự nghĩ ra chưa đủ, vì bạn biết tài liệu có gì, còn khách thì không. Cách kiểm tra sát thực tế là cho bot trả lời thử trên tin nhắn thật, nhưng chưa gửi cho khách. Trên Zalo OA, Heedium làm việc này theo 5 bước:
- Kết nối Zalo OA ở chế độ chạy thử. Bot soạn câu trả lời cho mỗi tin khách nhưng không gửi.
- Nhân viên vẫn trả lời trong Zalo OA như mọi ngày.
- Heedium đặt câu nháp của bot cạnh câu của nhân viên và chấm: đúng ý nhân viên, bot tốt hơn, gần đúng, bot thiếu thông tin, hoặc sai. Không đồng ý thì bạn chấm lại bằng tay.
- Câu sai hoặc thiếu đi vào mục Cần bổ sung. Bổ sung tài liệu rồi chạy tiếp.
- Bật trả lời thật khi tỷ lệ đúng đủ để bạn yên tâm. Muốn quay lại chạy thử, chỉ cần tắt.
Trang Chạy thử gợi ý bật khi bot đúng ý nhân viên ở 70% số câu đã chấm trở lên. Đó chỉ là gợi ý: đừng quyết định khi mới có vài câu được chấm, và đọc kỹ những câu sai, đặc biệt là câu về tiền và cam kết.
Với khung chat website, Heedium chưa có chế độ chạy thử ẩn. Hãy hỏi thử 20–30 tin nhắn thật trong trang Thử bot, xem nguồn từng câu, rồi mới dán mã lên website.
Vòng lặp Cần bổ sung: mỗi tuần bot đúng thêm một ít
Câu bot sai hay thiếu thường lặp lại ở cùng một nhóm câu hỏi. Gom chúng lại và trả lời một lần là cách nhanh để bot tốt lên.
- Câu bot chưa trả lời được, câu khách bấm không thích, câu bot lệch nhân viên khi chạy thử đều vào mục Cần bổ sung.
- Các câu cùng nghĩa được gom thành một nhóm, nên bạn không phải trả lời lặp lại.
- Viết câu trả lời một lần, bot dùng ngay từ lần hỏi sau.
- Báo cáo sáng thứ Hai liệt kê các câu cần bổ sung của tuần trước.
Dành 15 phút mỗi tuần cho mục này, như một buổi họp ngắn với bot.
Danh sách kiểm tra trước khi bật bot
- Bảng giá, lịch, chính sách trong tài liệu là bản mới, đã xoá bản cũ.
- Đã hỏi thử 20–30 tin nhắn thật và xem nguồn từng câu.
- Hỏi 5 câu ngoài tài liệu, bot đều nói chưa có thông tin.
- Trên Zalo OA: đã chạy thử đủ nhiều câu và đọc các câu bị chấm sai.
- Đã đặt từ khoá gặp nhân viên và giờ làm việc.
- Có người xem mục Cần bổ sung mỗi tuần.