Ảnh hưởng của hàm kích hoạt đến mô hình mạng nơron tích chập

Mạng nơron tích chập (CNN) ngày càng được sử dụng phổ biến

trong xử lý hình ảnh nói chung và phân lớp hình ảnh nói riêng. Để cải thiện

hiệu năng của mạng, việc tinh chỉnh các siêu tham số (hyper-parameters) là

cần thiết. Trong bài báo này, chúng tôi đề cập đến tầm quan trọng của việc lựa

chọn hàm kích hoạt phù hợp khi huấn luyện CNN. Chúng tôi so sánh các hàm

kích hoạt cơ bản và các hàm kích hoạt được đề xuất trong một số nghiên cứu

gần đây. Để đánh giá mức ảnh hưởng của chúng đến hiệu năng của CNN,

chúng tôi tiến hành các thí nghiệm với hai mô hình, một đơn giản một phức

tạp lần lượt trên hai tập dữ liệu hình ảnh phổ biến MNIST và CIFAR-10. Cách thức tiến hành thực nghiệm và các tiêu chí đánh giá được tham khảo dựa trên DAWNBench với một số thay đổi nhỏ.