오류를 이용한 Deep Fake 탐지 및 분류

Scientific Reports 13권, 기사 번호: 7422(2023) 이 기사 인용

1607 액세스

3 알트메트릭

측정항목 세부정보

고급 도구 및 저렴한 컴퓨팅 인프라와 함께 소셜 미디어에서 쉽게 액세스할 수 있는 콘텐츠가 광범위하게 제공되므로 사람들은 허위 정보와 사기를 퍼뜨릴 수 있는 심층적인 가짜를 쉽게 만들 수 있습니다. 이러한 급속한 발전은 이러한 기술을 사용하여 누구나 쉽게 선전을 만들 수 있기 때문에 공황과 혼란을 초래할 수 있습니다. 따라서 실제 콘텐츠와 가짜 콘텐츠를 구별하는 강력한 시스템은 소셜 미디어 시대에 매우 중요해졌습니다. 본 논문에서는 딥러닝과 머신러닝 기반의 방법론을 활용하여 딥페이크 이미지를 자동으로 분류하는 방법을 제안합니다. 손으로 만든 특징 추출을 사용하는 기존 기계 학습(ML) 기반 시스템은 잘 이해되지 않거나 간단한 특징을 사용하여 쉽게 표현되는 더 복잡한 패턴을 캡처하지 못합니다. 이러한 시스템은 보이지 않는 데이터를 잘 일반화할 수 없습니다. 더욱이 이러한 시스템은 데이터의 노이즈나 변화에 민감하여 성능이 저하될 수 있습니다. 따라서 이러한 문제는 데이터가 지속적으로 발전하는 실제 애플리케이션에서 유용성을 제한할 수 있습니다. 제안된 프레임워크는 처음에 이미지의 오류 수준 분석을 수행하여 이미지가 수정되었는지 확인합니다. 그런 다음 이 이미지는 심층 특징 추출을 위해 Convolutional Neural Networks에 제공됩니다. 결과 특징 벡터는 하이퍼 매개변수 최적화를 수행하여 Support Vector Machines 및 K-Nearest Neighbors를 통해 분류됩니다. 제안한 방법은 Residual Network와 K-Nearest Neighbor를 통해 89.5%의 가장 높은 정확도를 달성했다. 결과는 제안된 기술의 효율성과 견고성을 입증합니다. 따라서 이는 딥 페이크 이미지를 탐지하고 비방 및 선전의 잠재적인 위협을 줄이는 데 사용될 수 있습니다.

지난 10년 동안 스마트폰, 카메라, 컴퓨터 등 저렴한 기기 덕분에 사진, 영화 등 소셜 미디어 콘텐츠가 온라인에서 기하급수적으로 성장했습니다. 소셜 미디어 애플리케이션의 증가로 인해 사람들은 플랫폼 전반에 걸쳐 이러한 콘텐츠를 빠르게 공유할 수 있게 되었고, 온라인 콘텐츠가 대폭 늘어나고 쉽게 액세스할 수 있게 되었습니다. 동시에 우리는 시청각 콘텐츠를 조작하여 잘못된 정보를 퍼뜨리고 온라인에서 사람들의 평판을 훼손하기 위해 배포할 수 있는 복잡하면서도 효율적인 기계 학습(ML) 및 딥 러닝(DL) 알고리즘에서 엄청난 진전을 보았습니다. 우리는 이제 허위 정보를 퍼뜨리는 것이 쉽게 사람들의 의견을 흔들고 선거 조작이나 개인의 명예를 훼손하는 데 사용될 수 있는 시대에 살고 있습니다. 딥 페이크 생성은 최근 몇 년 동안 극적으로 발전했으며 전 세계적으로 허위 정보를 퍼뜨리는 데 사용될 수 있으며 곧 심각한 위협이 될 수 있습니다. 딥 페이크는 AI 알고리즘을 통해 생성된 합성 오디오 및 비디오 콘텐츠입니다. 법적 분쟁 및 형사 재판에서 비디오를 증거로 사용하는 것이 표준 관행입니다. 증거로 제출된 모든 동영상의 진위성과 무결성이 입증되어야 합니다. 특히 딥페이크 생성이 더욱 복잡해지면 이는 어려운 작업이 될 것으로 예상된다.

딥 페이크 비디오에는 얼굴 교환, 합성, 얼굴 특징 조작 등의 범주가 있습니다. 페이스 스왑 딥 페이크에서는 개인의 얼굴을 출처의 얼굴과 바꿔 가짜 동영상을 만들어 해당 개인이 저 지르지 않은 활동1을 표적으로 삼아 개인의 평판을 손상시킬 수 있습니다2. 립싱크라고 하는 또 다른 유형의 딥 페이크에서는 대상 사람의 입술을 조작하여 특정 오디오 트랙에 따라 움직임을 변경합니다. 립싱크의 목적은 누군가가 그 목소리로 말하도록 하여 피해자의 공격자의 목소리를 시뮬레이션하는 것입니다. Puppet-master를 사용하면 대상의 표정, 눈 움직임, 머리 움직임을 모방하여 딥 페이크가 생성됩니다. 이는 가상의 프로필을 사용하여 소셜 미디어에 허위 정보를 전파하기 위해 수행됩니다. 마지막으로 중요한 것은 심층 오디오 가짜 또는 음성 복제를 사용하여 실제로 말하지 않은 내용을 화자와 연관시키는 개인의 음성을 조작하는 것입니다1,3.