MoViNet-A2 cho bài toán nhận diện ký hiệu Tiếng Việt

Tóm tắt

Nhận diện ngôn ngữ ký hiệu từ video là một bài toán quan trọng nhằm hỗ trợ giao tiếp cho cộng đồng người khiếm thính. Tuy nhiên, sự đa dạng của cử chỉ, góc quay khác nhau và điều kiện môi trường biến thiên đặt ra nhiều thách thức cho các hệ thống nhận dạng truyền thống. Trong nghiên cứu này, chúng tôi đề xuất một phương pháp nhận diện ngôn ngữ ký hiệu tiếng Việt dựa trên MoViNet-A2, một mô hình tiên tiến được tối ưu hóa cho nhận dạng hành động trong video trên thiết bị di động. Bộ dữ liệu nghiên cứu bao gồm 98 từ hoặc cụm từ, được thực hiện bởi 18 học sinh từ Trường Khuyết tật Lâm Đồng - Đà Lạt, với tổng cộng 4,709 video từ ba góc quay khác nhau, đảm bảo tính đa dạng trong dữ liệu huấn luyện. Kết hợp với MoViNet-A2 là backbone được tiền huấn luyện trên tập Kinetics-600, kết hợp với các kỹ thuật tiền xử lý như cân bằng lớp, chuẩn hóa độ sáng và các phương pháp tăng cường dữ liệu nhằm nâng cao khả năng tổng quát hóa của mô hình. Kết quả thực nghiệm đạt độ chính xác Top-1 88.55% trên tập kiểm tra. Nghiên cứu cho thấy phương pháp đề xuất đạt hiệu suất cao trong việc phân loại và nhận diện các cử chỉ ký hiệu, đồng thời đảm bảo khả năng xử lý thời gian thực trên thiết bị di động. Nghiên cứu này không chỉ góp phần nâng cao độ chính xác của hệ thống nhận diện ngôn ngữ ký hiệu mà còn mở ra tiềm năng ứng dụng thực tế trong hỗ trợ giao tiếp cho cộng đồng người khiếm thính.