얼굴 감정 인식을 위한 컴퓨터 비전에 관한 연구

Scientific Reports 13권, 기사 번호: 8425(2023) 이 기사 인용

613 액세스

2 알트메트릭

측정항목 세부정보

인공지능은 다양한 분야에 성공적으로 적용되었으며, 그 중 하나가 컴퓨터 비전이다. 본 연구에서는 얼굴 감정 인식(FER)을 위해 심층 신경망(DNN)을 채택했습니다. 본 연구의 목표 중 하나는 DNN 모델이 FER에 초점을 맞춘 중요한 얼굴 특징을 식별하는 것입니다. 특히 FER 작업을 위해 Squeeze-and-Excitation 네트워크와 Residual Neural Network를 결합한 CNN(Convolutional Neural Network)을 활용했습니다. 우리는 CNN에 학습 샘플을 제공하는 표정 데이터베이스로 AffectNet과 RAF-DB(Real-World Affective Faces Database)를 활용했습니다. 추가 분석을 위해 잔차 블록에서 특징 맵을 추출했습니다. 우리의 분석에 따르면 코와 입 주변의 특징은 신경망의 중요한 얼굴 랜드마크입니다. 데이터베이스 간 유효성 검사가 데이터베이스 간에 수행되었습니다. AffectNet에서 훈련된 네트워크 모델은 RAF-DB에서 검증 시 77.37%의 정확도를 달성한 반면, AffectNet에서 사전 훈련된 후 RAF-DB에서 학습된 네트워크 모델은 검증 정확도 83.37%를 나타냈습니다. 이 연구의 결과는 신경망에 대한 이해를 향상시키고 컴퓨터 비전 정확도를 향상시키는 데 도움이 될 것입니다.

인간의 의사소통에서 얼굴 표정에는 언어적 의사소통에 추가적인 단서와 의미를 제공할 수 있는 중요한 비언어적 정보가 포함되어 있습니다1. 일부 연구에 따르면 의사소통의 60~80%가 비언어적이라고 합니다2. 이러한 비언어적 정보에는 얼굴 표정, 눈맞춤, 목소리 톤, 손짓, 신체적 거리두기가 포함됩니다. 특히 얼굴 표정 분석은 인기 있는 연구 주제가 되었습니다3. 얼굴 감정 인식(FER)은 자동 조종 장치, 교육, 의료, 심리 치료4, 감시 및 컴퓨터 비전의 심리 분석과 같은 분야의 인간-컴퓨터 상호 작용(HCI) 분야에 적용되었습니다5,6.

심리학과 컴퓨터 비전에서 감정은 범주형 또는 차원형(유가 및 각성) 모델로 분류됩니다7,8,9. 범주형 모델에서 Ekman et al.7은 인간의 기본 감정을 행복, 분노, 혐오, 두려움, 슬픔, 놀라움으로 정의했습니다. 차원 모델에서 감정은 원자가와 각성을 결정하기 위해 연속적인 수치 척도로 평가됩니다. FER은 수많은 실제 응용 프로그램이 있는 컴퓨터 비전의 중요한 작업이며 FER에 대한 연구 수가 최근 몇 년간10,11,12,13 증가하여 심층 신경망이 제공하는 발전의 혜택을 받았습니다. 특히 CNN(Convolutional Neural Network)은 특징 추출 측면에서 탁월한 결과를 얻었습니다. 예를 들어, He et al.14은 2015년에 ResNet(Residual Neural Network) 아키텍처를 제안했습니다. 이 아키텍처는 CNN에 잔류 학습을 추가하여 딥 네트워크의 기울기 소멸 및 정확도 감소 문제를 해결했습니다.

여러 저자는 범주형 모델15,16,17,18,19,20,21,22,23 및 차원 모델15,23,24,25,26에 따라 감정을 분류하기 위해 신경망 모델을 적용했습니다. Huang27은 VGG CNN에 잔차 블록 아키텍처를 적용하여 감정 인식을 수행하고 향상된 정확도를 얻었습니다. Mao et al.28은 Window 기반 교차 주의 메커니즘과 얼굴 랜드마크의 다중 기능을 도입하여 최첨단 기술의 성능을 향상시키고 필요한 계산 비용을 줄이는 것을 목표로 하는 POSTER V2라는 새로운 FER 모델을 제안했습니다. 스케일 기능. 자동 감정 인식 프로세스에 더 많은 정보를 통합하기 위해 최근 일부 연구에서는 시간적, 오디오 및 시각적 양식10,17,18,23,25과 같은 여러 양식을 알고리즘에 융합했습니다. 또한 FER 작업에 대한 여러 연구17,18,19,20,22,25에서 주의 메커니즘이 채택되었습니다. Zhang et al.19는 모델에 의해 학습된 어텐션 맵을 분석하기 위해 클래스 활성화 매핑을 적용했습니다. 주의 지도를 뒤집고 입력 이미지의 일부를 무작위로 삭제하여 모델을 정규화할 수 있다는 것이 밝혀졌습니다. Wang et al.22은 FER의 식별 가능한 부분을 강조하는 안면 마스크를 학습하기 위해 Attention Branch를 도입했습니다. 이러한 연구는 주의 메커니즘이 FER에서 중요한 역할을 한다는 것을 보여줍니다. FER에 대한 여러 접근 방식은 self-attention 메커니즘을 활용하여 특징 추출을 위한 일련의 컨볼루션 레이어를 통해 로컬 및 글로벌 컨텍스트를 모두 캡처합니다. 추출된 특징은 관계 주의 모듈의 입력으로 사용됩니다. 이 모듈은 self-attention을 활용하여 다양한 패치와 컨텍스트 간의 관계를 캡처합니다.