Đánh giá độ tin cậy của phần mềm phát hiện AI

Tóm tắt

Nghiên cứu này đã đánh giá hiệu quả của phần mềm phát hiện AI trong việc phân biệt giữa văn bản do con người tạo ra và AI, sử dụng mô hình Vistral-7B-Chat. Đánh giá bao gồm 30 công cụ phát hiện được thử nghiệm trên 10 mẫu văn bản, được phân chia đều giữa nguồn người và AI. Thống kê mô tả và phân tích đường cong ROC đã được sử dụng để đánh giá độ chính xác của các công cụ này. Các phát hiện cho thấy phần mềm phân biệt hiệu quả giữa AI và văn bản do con người tạo ra, đạt được điểm AUC là 1, biểu thị độ chính xác gần như hoàn hảo. Nghiên cứu đã xác định sự thay đổi trong hiệu suất của công cụ, nhấn mạnh sự cần thiết của các cải tiến liên tục để giải quyết các thách thức diễn giải và lảng tránh. Nghiên cứu này góp phần vào sự hiểu biết về phát hiện văn bản AI, nhấn mạnh nhu cầu cấp bách về các công cụ mạnh mẽ để bảo vệ tính toàn vẹn của nội dung do con người tạo ra khi các công nghệ AI tiến bộ.