Tối ưu hóa thông tin lẫn nhau để giảm thiểu tình trạng quên thảm khốc trong học liên tục: Cách tiếp cận lý thuyết thông tin

Tóm tắt

Học liên tục đối mặt với thách thức quên thảm khốc, khi mô hình mất "kiến thức" từ các tác vụ trước khi học tác vụ mới. Trong bài báo này, chúng tôi đề xuất CMIP, một phương pháp dựa trên lý thuyết thông tin, sử dụng tối ưu hóa thông tin lẫn nhau và chính quy hóa entropy nhằm duy trì kiến thức cũ, tạo biểu diễn tiềm ẩn nén tối ưu. CMIP tích hợp một mạng neuron phụ để ước lượng MI, áp dụng chiến lược replay memory, trong đó mỗi mini-batch huấn luyện được xây dựng với tỷ lệ 50% mẫu của tác vụ hiện tại và 50% mẫu được lấy từ bộ nhớ của tác vụ trước. Thực nghiệm được thực hiện trên tập dữ liệu MNIST-Split và CIFAR-100-Split cho bài toán Class-incremental learning (Class-IL). Trên MNIST-Split, CMIP đạt được độ chính xác trung bình 90.97% và mức quên trung bình chỉ 8.81%, vượt trội so với các phương pháp hiện đại như Elastic Weight Consolidation (EWC) và Gradient Episodic Memory (GEM). Phương pháp có thể áp dụng cho học liên tục trong các ứng dụng thực tế như robot học và xử lý dữ liệu thời gian thực.