감정을 학습하기

텍스트를 넘어 인간의 상태를 읽는 기술

권혁준

중앙대학교 첨단영상대학원 교수

인공지능은 기본적으로 패턴을 인식하고 학습하는 기술이다. 방대한 데이터 속에서 반복적으로 나타나는 규칙과 상관관계를 찾아내고, 이를 바탕으로 분류하고 예측하며 생성한다. 이미지 속 사물을 구별하고, 음성에서 문장을 인식하고, 텍스트의 의미를 해석하는 일은 모두 이러한 원리 위에서 이루어진다. 오늘날 우리가 AI라고 부르는 대부분의 기술은 결국 데이터 안에 숨어 있는 패턴을 얼마나 정교하게 포착하느냐에 달려 있다고 해도 과언이 아니다.

그동안 AI 연구의 중심에는 주로 언어와 이미지 같은 대상이 있었다. 문장이 무엇을 뜻하는지, 영상 속에서 어떤 장면이 펼쳐지고 있는지를 해석하는 일이 핵심 과제였다. 그리고 이 영역에서 최근의 AI는 눈부신 발전을 이루었다. 이제 AI는 단순한 검색이나 문장 완성의 수준을 넘어, 복잡한 추론을 수행하고, 어려운 시험 문제를 풀며, 인간이 생산한 텍스트와 시각 정보를 상당한 수준으로 이해하고 생성한다. 수능형 문제 풀이, 전문 자격시험 수준의 질의응답, 수학과 과학의 고난도 추론, 이미지 이해와 생성까지, 기존에는 각기 다른 전문 영역으로 여겨졌던 작업들이 하나의 범용 모델 안에서 점차 통합되고 있다. 적어도 언어와 비전 데이터의 처리라는 측면에서 보면, AI는 이미 매우 높은 수준의 성능을 보여주고 있다.

이러한 발전은 AI의 위치 자체를 바꾸어 놓았다. 과거의 AI가 특정 작업을 보조하는 기술에 가까웠다면, 이제는 인간 사회 안쪽으로 깊이 들어와 학습, 업무, 소통, 의사결정의 과정에 직접 관여하는 시스템이 되었다. 사람들은 더 이상 AI를 낯선 기술로만 대하지 않는다. 질문을 던지고, 설명을 듣고, 글을 고치고, 아이디어를 정리하고, 일의 방향을 점검하는 과정에서 AI는 점점 일상적인 도구이자 주요한 지적 자원처럼 사용된다. ChatGPT나 Gemini와 같은 시스템을 전혀 사용하지 않는 사람을 찾기 어렵다는 말이 과장이 아닐 정도로, AI는 이제 인간의 사고와 판단 바로 곁에서 작동하는 기술이 되었다. 

바로 그렇기 때문에 다음 단계의 과제가 중요해진다. 인간은 문장이나 사진만 주고받는 존재가 아니기 때문이다. 우리는 말의 내용과 함께 말투, 속도, 억양, 침묵, 표정, 시선, 반응 방식과 같은 다양한 신호를 함께 주고받는다. 텍스트는 그중 한 층위일 뿐이고, 실제 인간의 소통은 훨씬 더 두껍고 복합적인 정보 구조 위에서 이루어진다. 같은 문장이라도 어떤 표정으로, 어떤 속도로, 어떤 맥락에서 말했는지에 따라 의미는 크게 달라진다. 결국 인간 가까이에서 기능하는 AI라면, 인간이 드러내는 더 넓은 상태 정보까지 함께 해석할 수 있어야 한다. 감성 AI의 필요성은 바로 여기에서 나온다.

이 지점에서 많은 사람들은 곧바로 의문을 가질 수 있다. 감정은 사람마다 다르고, 상황에 따라 달라지며, 문화에 따라서도 표현 방식이 다르다. 기쁨, 불안, 피로, 당혹감 같은 것은 내면의 경험이기 때문에, 이것을 과연 AI가 학습할 수 있는지 의문스럽게 느껴진다. 감정은 정답이 하나로 떨어지는 대상이 아니고, 수식처럼 명확하게 정의하기도 어렵다. 같은 표정이 전혀 다른 감정을 뜻할 수도 있고, 같은 감정이 전혀 다른 방식으로 표현될 수도 있다. 그래서 감성 AI라는 말은 언어 이해나 이미지 인식보다 더 낯설고 더 어려운 개념처럼 들린다.

그러나 공학의 관점에서 보면 감정 역시 학습 가능한 대상이다. 그 이유는 감정 또한 결국 정보이기 때문이다. 물론 감정 자체를 직접 꺼내어 볼 수는 없다. 하지만 감정은 표정의 변화, 시선의 움직임, 음성의 높낮이와 속도, 단어 선택, 문장 길이, 반응 시간, 생체신호와 같은 다양한 형태로 바깥에 드러난다. 다시 말해 감정은 완전히 보이지 않는 것이 아니라, 여러 데이터 층위에 흔적을 남긴다. 관찰 가능한 신호가 있고, 그 신호들 사이에 반복되는 관계가 있다면, 그것은 충분히 학습의 대상이 될 수 있다.

AI가 감정을 인간처럼 느끼고 체험한다고 말할 수는 없지만, 감정과 관련된 신호를 해석하고 그에 맞게 반응하도록 만드는 것은 분명히 가능한 일이다. 이 점에서 감성 AI는 인간적인 영역을 기계로 대체하려는 시도라기보다, 인간이 실제로 주고받는 다양한 상태 정보를 모델링하려는 자연스러운 연구 과제라고 보는 편이 더 정확하다. 

사실 기존의 AI 모델들도 이미 이러한 해석을 어느 정도 수행하고 있다. 오늘날의 대규모 언어모델은 문장의 표면적 의미만 읽는 것이 아니라, 어조와 분위기, 화자의 의도까지 일정 수준 추정한다. 사용자가 짜증을 내고 있는지, 조심스러운 태도로 질문하는지, 확신이 없는 상태인지에 대해 모델이 어느 정도 반응할 수 있는 것은 이런 이유 때문이다. 이미지 모델 역시 얼굴 표정이나 장면의 맥락을 통해 정서적 단서를 포착한다. 슬픔, 긴장, 즐거움과 같은 정서적 분위기는 이미 언어와 이미지의 해석 과정 속에 일정 부분 포함되어 있다.

다만 이러한 해석은 대부분 언어와 이미지 이해의 과정 속에 암묵적으로 포함되어 있을 뿐, 감정을 명시적으로 다루는 형태로 설계된 것은 아니다. 다시 말해 기존 모델은 감정을 부분적으로 읽고 있지만, 그것을 독립된 목표로 정교하게 모델링하고 있는 것은 아니다.

때문에 앞으로의 과제는 이미 부분적으로 가능한 해석을 더 직접적이고 정교한 수준으로 확장하는 데 있다. 보다 미묘한 뉘앙스를 읽고, 더 안정적으로 상태를 추정하며, 그 결과를 실제 상호작용의 개선으로 연결하는 것이 감성 AI가 지향하는 방향이다. 예를 들어 대화형 AI가 사용자의 질문 내용만이 아니라 혼란의 정도, 불만의 신호, 설명을 따라오지 못하고 있는 상태를 함께 파악할 수 있다면, 응답의 방식은 분명 달라질 수 있다. 이러한 차이는 단순한 사용자 편의의 문제가 아니라, 인간과 상호작용하는 시스템의 품질 자체를 결정하는 요소가 된다.

이 과정에서 특히 중요한 것은 개인화와 문화적 맥락이다. 같은 침묵도 어떤 사람에게는 집중의 표시일 수 있고, 다른 사람에게는 불편함의 신호일 수 있다. 같은 웃음도 친밀감의 표현일 수 있고, 긴장을 감추는 방식일 수도 있다. 더구나 감정 표현은 문화권에 따라서도 차이를 보인다. 어떤 사회에서는 감정을 직접적으로 드러내는 것이 자연스럽지만, 어떤 사회에서는 절제된 표현이 더 일반적이다. 어떤 언어에서는 완곡한 표현이 예의의 일부이지만, 다른 언어에서는 오히려 모호함으로 받아들여질 수도 있다.

따라서 감성 AI는 보편적인 패턴만 학습해서는 충분하지 않다. 개인마다 다른 표현 방식과 문화마다 다른 정서 규범을 함께 고려할 수 있을 때, 비로소 인간 가까이에서 자연스럽게 작동하는 AI에 가까워질 수 있다. 결국 감성 AI의 정교함은 단순히 더 많은 데이터를 모으는 데서 나오지 않고, 데이터가 놓여 있는 삶의 맥락을 함께 이해하는 데서 나온다.

앞으로 AI는 더 많은 영역에서 인간과 함께 일하고, 가르치고, 안내하고, 돕게 될 것이다. 이때 필요한 것은 단지 더 많은 지식을 가진 AI가 아니라, 사람의 상태를 더 섬세하게 읽을 수 있는 AI이다. 인간이 드러내는 정서적 신호를 데이터로 읽고, 그 의미를 맥락 속에서 해석하여, 인공지능이 사람에게 더 적절하게 반응하도록 만드는 감성 AI 기술은 인간 가까이에서 작동하는 AI를 가능하게 하는 핵심 기술이라 할 수 있다.