Using Convolutional Neural Networks for Creating Models to Tag Anime Images

Abstract

Recently, there are websites that provide anime artworks for artists who search for inspiration to create their own works. Unfortunately, tags of anime images lack clear structures, and some images are insufficiently tagged. This reduces the chances of the artists to find the specific images they need and they might lose their chances of producing their best work. To solve this problem, we present using the ML-GCN model, a multi-label classification, to improve the correctness and completeness of anime image tagging. The core structure of this model consists of Graph Convolutional Networks (GCN) and Convolutional Neural Networks (CNN). In this study, we compared three convolutional neural network algorithms (ResNET, ResNeXT, and EfficientNet) to determine which algorithm more accurately classifies anime image tags. The experimental results show that ResNeXT yields a higher mean average precision (mAP) than ResNET and EfficientNet, indicating that ResNeXT is better suited for apply with the ML-GCN model in classifying anime image tags.

ในปัจจุบันมีเว็บไซต์ซึ่งเป็นแหล่งรวมภาพผลงานอนิเมะให้นักวาดภาพหาแรงบันดาลใจในการสร้างผลงานของตน แต่แท็กของภาพอนิมะไม่มีรูปแบบที่ชัดเจน บางภาพอนิเมะถูกกำหนดแท็กไม่เพียงพอ ทำให้นักวาดภาพที่เข้ามาหาแรงบันดาลใจมีโอกาสค้นหาเจอภาพที่ต้องการน้อยลง พวกเขาอาจสูญเสียโอกาสในการสร้างผลงานให้ออกมาดีที่สุด ผู้วิจัยจึงนำเสนอการนำโมเดล ML-GCN ซึ่งเป็นโมเดลสำหรับการทำ Muti-label เพื่อช่วยในการกำหนดแท็กของภาพอนิเมะให้มีความถูกต้องและครบถ้วนมากขึ้น โครงสร้างหลักของโมเดลนี้ประกอบด้วยโครงข่ายคอนโวลูชันแบบกราฟ (Graph Convolutional Networks: GCN) และโครงข่ายประสาทเทียมแบบคอนโวลูชัน (Convolutional Neural Network: CNN) ในงานวิจัยนี้ผู้วิจัยเปรียบเทียบอัลกอริทึมของโครงข่ายประสาทเทียมแบบคอนโวลูชัน 3 แบบ ได้แก่ ResNET, ResNeXT และ EfficientNet เพื่อวิเคราะห์ว่าอัลกอริทึมใดจำแนกแท็กของภาพอนิเมะได้ถูกต้องมากกว่า จากผลการทดลองพบว่า ResNeXT มีค่าความแม่นยำเฉลี่ย (mAP) สูงกว่า ResNET และ EfficientNet ทำให้ ResNeXT เหมาะนำมาใช้ร่วมกับโมเดล ML-GCN ในการจำแนกแท็กของภาพอนิเมะ