감정을 읽는 AI는 무엇을 배우는가

감성 알고리즘과 모델의 현재, 그리고 다음 질문

오지형

중앙대학교 첨단영상대학원 교수

우리는 이제 AI 및 기계가 사람의 얼굴을 보고, 목소리의 떨림을 듣고, 문장의 어조를 읽으며 감정을 추정하는 시대에 살고 있다. 누군가는 이를 “감정을 이해하는 인공지능”이라 부르고, 또 누군가는 아직 그 표현이 너무 이르다고 말한다. 실제로 오늘의 감성 AI는 인간의 내면을 완전히 이해한다기보다, 감정이 바깥으로 드러나는 여러 신호를 통계적으로 학습하고 해석하는 기술에 가깝다. 그런데 바로 이 지점이 흥미롭다. 감성 알고리즘은 인간의 감정을 있는 그대로 읽는가, 아니면 데이터 속에서 반복적으로 나타난 감정의 표정을 계산하는가. 

「감성 알고리즘&모델」은 바로 이 질문에서 출발한다. 감성 AI의 핵심은 단순히 ‘기쁨, 슬픔, 분노’를 맞히는 분류기 (classifier)를 만드는 일이 아니다. 오히려 더 중요한 것은 감정을 어떤 형태로 모델링할 것인가의 문제다. 감정을 몇 개의 범주로 나눌 것인지, 혹은 쾌·불쾌 (valence)와 각성도 (arousal) 같은 연속 좌표 위에서 볼 것인지, 얼굴만 볼 것인지 아니면 음성, 텍스트, 몸짓, 장면 맥락까지 함께 읽을 것인지에 따라 전혀 다른 알고리즘이 만들어진다. 결국 감성 모델은 인간 감정의 본질을 그대로 복사한 기술이 아니라, 감정을 어떤 관점에서 정의하고 표현할 것인지에 대한 하나의 이론적 선택이기도 하다.

최근 이 분야는 매우 빠르게 확장되고 있다. 초창기에는 얼굴 표정 인식 (facial expression recognition)이 중심이었다면, 이제는 인물의 주변 장면과 사회적 맥락을 함께 해석하는 문맥 기반 감정 인식 (context-aware emotion recognition), 음성·텍스트·영상 신호를 함께 다루는 멀티모달 감정 인식 (multimodal emotion recognition), 나아가 대규모 언어모델과 비전모델을 결합해 감정의 이유와 상황까지 추론하려는 시도로까지 이어지고 있다. 감정은 더 이상 얼굴 근육의 미세한 움직임만으로 설명되지 않는다. 같은 표정도 상황에 따라 전혀 다른 감정이 될 수 있고, 같은 문장도 목소리와 관계 맥락에 따라 다르게 받아들여진다. 감성 AI가 점점 더 복잡한 모델을 요구받는 이유가 여기에 있다. 

하지만 성능이 높아질수록 질문도 함께 어려워진다. 기계가 학습한 감정은 누구의 감정인가. 데이터셋 (dataset)에 많이 등장하는 문화권의 표정과 언어 습관이 보편적 감정처럼 오인되지는 않는가. 억지 미소, 사회적 가면, 문화적 차이, 감정의 중첩과 모호성은 알고리즘 안에서 얼마나 살아남는가. 감성 AI는 인간을 더 잘 이해하기 위한 기술이 될 수도 있지만, 반대로 인간의 복잡한 감정을 지나치게 단순한 라벨 (label)로 환원하는 장치가 될 위험도 함께 안고 있다. 그래서 감성 알고리즘의 문제는 단지 공학의 문제가 아니라, 인간 이해의 방식에 관한 철학적 문제이기도 하다.

그림 : 감성 AI

이번 글에서는 이러한 흐름을 따라 감성 AI의 주요 알고리즘과 모델이 어떻게 발전해왔는지, 그리고 앞으로 어떤 방향으로 나아가야 하는지를 살펴보고자 한다. 얼굴 표정 데이터셋에서 시작된 전통적 접근, 장면과 관계를 읽는 문맥 모델, 음성·텍스트·영상이 결합된 멀티모달 구조, 그리고 최근의 대규모 사전학습 (pre-training) 및 생성형 AI와 연결되는 흐름까지 차례로 짚어볼 예정이다. 동시에 “감정을 잘 맞히는 모델”을 넘어, “감정을 얼마나 책임 있게 다루는 모델인가”라는 질문도 함께 던지고자 한다. 

감정을 읽는 기계는 결국 인간을 어떻게 상상하는 기계인가. 감성 알고리즘의 역사는 단지 더 높은 정확도의 경쟁이 아니라, 인간의 감정이 과연 측정될 수 있는가를 둘러싼 긴 사유의 역사이기도 하다. 이 글은 그 기술적 진보를 소개하는 데서 멈추지 않고, 감성 AI가 인간과 예술, 커뮤니케이션, 그리고 미래의 인터페이스를 어떻게 바꾸고 있는지까지 함께 바라보려 한다. 감정을 계산하는 기술의 시대에, 우리는 오히려 다시 질문해야 한다. 감정은 데이터가 되면 더 잘 이해되는가, 아니면 다른 방식으로 다시 낯설어지는가.