MỘT PHƯƠNG PHÁP CHƯNG CẤT TRI THỨC HIỆU QUẢ VỚI LOGSUM VÀ ALPHA ĐỘNG TRONG PHÂN LOẠI ẢNH
https://doi.org/10.64302/joshusc.v29n1.1257
Lê Quang Chiến
Email: lqchien@husc.edu.vn
Bài báo này đề xuất một cải tiến hiệu quả cho phương pháp chưng cất tri thức (Knowledge Distillation – KD) bằng cách kết hợp ba thành phần hàm mất mát: LogSum, Cross-Entropy (CE) và KL divergence. Cách tiếp cận này nhằm tận dụng đồng thời thông tin từ nhãn thật, đặc trưng trung gian và phân phối đầu ra mềm của mô hình giáo viên. Thí nghiệm trên tập dữ liệu CIFAR-100 với cặp mô hình ResNet34 (teacher) và ResNet18 (student) cho thấy, cấu hình KL + LogSum đạt độ chính xác cao nhất (58.36%), trong khi việc kết hợp đầy đủ CE + KL + LogSum cũng mang lại kết quả đáng kể. Ngoài ra, một số thiết lập alpha động trong hàm mất mát LogSum giúp cải thiện hiệu quả so với cấu hình alpha cố định, nếu được điều chỉnh phù hợp. Các kết quả này góp phần làm rõ vai trò của từng thành phần trong thiết kế hàm mất mát và gợi mở hướng nghiên cứu tiếp theo trong chưng cất tri thức. Bài báo là một trong những nghiên cứu đầu tiên khảo sát cơ chế điều chỉnh alpha động trong hàm mất mát LogSum nhằm tăng tính linh hoạt và khả năng hội tụ của mô hình học sinh.
mucluc.pdf
