Explanatory comparative study of AI models in face expression recognition

Abstract

This thesis provides an analysis and comparison of five widely used CNN architec tures in face expression recognition task. The objective is to evaluate the performance of different CNN architectures available in the Keras library for this challenging com puter vision task. The chosen CNN architectures for comparison include VGG19, InceptionV3, ResNet152V2, MobileNetV2, and EfficientNetV2B1. Two different kinds of facial datasets are used in this research. The first dataset is Fer2013, a com monly used dataset in this domain known for its unbalanced structure. The second dataset is the FACES dataset from the Max-Planck Institute, comprising posed im ages of individuals with a balanced structure. Both of these datasets contain labeled face expression images. Pre-processing steps, such as rotation, shift, resizing, and rescaling, are applied to these images. Since this is a comparative analysis study, the same transfer learning steps are applied to all models. The results from this training are evaluated using test accuracy, which is necessary for analyzing every aspect of the study. To ensure a fair comparison, the same transfer learning steps are applied to all models. The models are trained by dividing the dataset into three sets; training data set, validation data set, and test data set. The comparative study reveals that each CNN architecture exhibits different levels of performance in facial expression recognition tasks. The study provides significant knowledge about the strengths and weaknesses of each CNN architecture in face ex pression recognition. Overall, this comparison study provides clarity on the effectiveness of VGG19, In ceptionV3, ResNet152V2, MobileNetv2, and EfficientNetV2B1 architectures in rec ognizing facial expressions. It serves as a valuable resource for researchers in the fields of computer vision and expression analysis

Bu tez, yüz ifadesi tanıma görevinde yaygın olarak kullanılan be¸s CNN mimarisinin analizini ve kar¸sıla¸stırmasını sunmaktadır. Amaç, bu zorlu bilgisayarla görme görevi için Keras kütüphanesinde bulunan farklı CNN mimarilerinin performansını deger- ˘ lendirmektir. Kar¸sıla¸stırma için seçilen CNN mimarileri arasında VGG19, Incepti onV3, ResNet152V2, MobileNetV2 ve EfficientNetV2B1 bulunmaktadır. Bu ara¸stırmada iki farklı türde yüz veri seti kullanılmı¸stır. ˙Ilk veri seti, dengesiz ya pısıyla bilinen ve bu alanda yaygın olarak kullanılan Fer2013 veri setidir. ˙Ikinci veri seti ise Max-Planck Enstitüsü’nün FACES veri setidir ve dengeli bir yapıya sahip bireylerin pozlanmı¸s görüntülerinden olu¸smaktadır. Bu veri setlerinin her ikisi de eti ketli yüz ifadesi içeren görüntülerdir. Bu görüntülere döndürme, kaydırma, yeniden boyutlandırma ve yeniden ölçeklendirme gibi ön i¸sleme adımları uygulanmı¸stır. Bu bir kar¸sıla¸stırmalı analiz çalı¸sması oldugu için tüm modellere aynı transfer ö ˘ grenme ˘ adımları uygulanır. Bu egitimden elde edilen sonuçlar, çalı¸smanın her yönünü ana- ˘ liz etmek için gerekli olan test dogrulu ˘ gu kullanılarak de ˘ gerlendirilir. Adil bir kar¸sı- ˘ la¸stırma saglamak için tüm modellere aynı transfer ö ˘ grenme adımları uygulanmı¸stır. ˘ Modeller, veri seti üç kümeye bölünerek egitilir; e ˘ gitim veri seti, do ˘ grulama veri seti ˘ ve test veri seti. Kar¸sıla¸stırmalı çalı¸sma, her CNN mimarisinin yüz ifadesi tanıma görevlerinde farklı performans seviyeleri sergiledigini ortaya koymaktadır. Çalı¸sma, yüz ifadesi tanımada her bir CNN mimarisinin güçlü ve zayıf yönleri hakkında önemli bilgiler sag-˘ lamaktadır. Genel olarak, bu kar¸sıla¸stırma çalı¸sması VGG19, InceptionV3, ResNet152V2, Mobi leNetv2 ve EfficientNetV2B1 mimarilerinin yüz ifadelerini tanımadaki etkinligi hak- ˘ kında netlik saglamaktadır. Bilgisayarla görme ve ifade analizi alanlarındaki ara¸stır- ˘ macılar için degerli bir kaynak niteli ˘ gindedir