Ảnh hưởng của hàm kích hoạt đến mô hình mạng nơron tích chập

  • Vĩnh Anh Nghiêm Quân
  • Nguyễn Lê Trung Thành
  • Đinh Thị Diệu Minh
  • Trần Hoài Nhân

Tóm tắt

Tóm tắt: Mạng nơron tích chập (CNN) ngày càng được sử dụng phổ biến trong xử lý hình ảnh nói chung và phân lớp hình ảnh nói riêng. Để cải thiện hiệu năng của mạng, việc tinh chỉnh các siêu tham số (hyper-parameters) là cần thiết. Trong bài báo này, chúng tôi đề cập đến tầm quan trọng của việc lựa chọn hàm kích hoạt phù hợp khi huấn luyện CNN. Chúng tôi so sánh các hàm kích hoạt cơ bản và các hàm kích hoạt được đề xuất trong một số nghiên cứu gần đây. Để đánh giá mức ảnh hưởng của chúng đến hiệu năng của CNN, chúng tôi tiến hành các thí nghiệm với hai mô hình, một đơn giản một phức tạp lần lượt trên hai tập dữ liệu hình ảnh phổ biến MNIST và CIFAR-10. Cách thức tiến hành thực nghiệm và các tiêu chí đánh giá được tham khảo dựa trên DAWNBench với một số thay đổi nhỏ. Kết quả cho thấy hàm kích hoạt ReLU và các biến thể của nó đem lại độ chính xác cao sớm hơn các dạng hàm kích hoạt khác, mặc dù ưu thế về tổng thời gian huấn luyện là không đáng kể.

Từ khóa: CNN, hàm kích hoạt.

điểm /   đánh giá
Phát hành ngày
2019-12-31