MỘT PHƯƠNG PHÁP CHƯNG CẤT TRI THỨC HIỆU QUẢ VỚI LOGSUM VÀ ALPHA ĐỘNG TRONG PHÂN LOẠI ẢNH

https://doi.org/10.64302/joshusc.v29n1.1257

Lê Quang Chiến

Email: lqchien@husc.edu.vn

Tập 29, Số 1
Thời gian xuất bản: 7/2025
Mục lục: mucluc.pdf
Tóm tắt

Bài báo này đề xuất một cải tiến hiệu quả cho phương pháp chưng cất tri thức (Knowledge Distillation – KD) bằng cách kết hợp ba thành phần hàm mất mát: LogSum, Cross-Entropy (CE) và KL divergence. Cách tiếp cận này nhằm tận dụng đồng thời thông tin từ nhãn thật, đặc trưng trung gian và phân phối đầu ra mềm của mô hình giáo viên. Thí nghiệm trên tập dữ liệu CIFAR-100 với cặp mô hình ResNet34 (teacher) và ResNet18 (student) cho thấy, cấu hình KL + LogSum đạt độ chính xác cao nhất (58.36%), trong khi việc kết hợp đầy đủ CE + KL + LogSum cũng mang lại kết quả đáng kể. Ngoài ra, một số thiết lập alpha động trong hàm mất mát LogSum giúp cải thiện hiệu quả so với cấu hình alpha cố định, nếu được điều chỉnh phù hợp. Các kết quả này góp phần làm rõ vai trò của từng thành phần trong thiết kế hàm mất mát và gợi mở hướng nghiên cứu tiếp theo trong chưng cất tri thức. Bài báo là một trong những nghiên cứu đầu tiên khảo sát cơ chế điều chỉnh alpha động trong hàm mất mát LogSum nhằm tăng tính linh hoạt và khả năng hội tụ của mô hình học sinh.

Từ khóa
Chưng cất tri thức, Cross-Entropy Loss, KL Divergence, hàm mất mát LogSum
File tóm tắt: Chưa tải lên
File toàn văn: