인공지능은 문화를 어떻게 이해하는가: 문화적 맥락 속 의미와 감성을 반영한 데이터와 평가의 변화
김학구
중앙대학교 메타버스융합학과 교수
우리는 흔히 인공지능이 사람처럼 세상을 “이해한다”고 말한다. 사진을 보고 상황을 설명하고, 질문에 자연스럽게 답하는 모습을 보면, 인공지능이 인간과 유사한 방식으로 의미를 파악하고 있다고 느끼기 쉽다. 그러나 그 이해가 항상 동일한 방식으로 작동하는 것은 아니다. 예를 들어, 누군가에게 행운을 빌기 위해 손가락을 교차하는 제스처의 경우, 미국에서는 긍정적인 의미를 갖지만, 다른 문화권에서는 전혀 다른, 부적절한 의미로 해석되기도 한다. 실제로 해당 제스처는 문화에 따라 “행운을 빈다”는 표현으로 이해되기도 하고, “외설적인 의미”로 받아들여지기도 한다 (그림 1). 이러한 차이는 제스처 인식에만 국한되지 않는다. 여성의 초상화를 두고도, 어떤 문화권에서는 “단정하게 앉아 있는 모습이 만족스럽다”고 묘사되는 반면, 다른 문화권에서는 “복장이 지나치게 노출되어 부적절하다”고 인식되기도 한다 (그림 2). 즉, 같은 이미지를 보더라도 그것이 전달하는 감성과 의미는 문화적 맥락에 따라 크게 달라진다.
그림 1. MC-SIGNS 데이터셋: 지역과 문화에 따라 달라지는 제스처 해석
그림 2. ArtElingo-28 벤치마크 데이터셋: 객관적 사실보다 주관적 의견 및 언어와 문화에 걸친 다양성 강조
최근 인공지능, 특히 시각-언어 모델(Vision-Language Models, VLMs)이나 대형 언어 모델(Large Language Models, LLMs)은 객체를 인식하거나 질문을 이해하고 자연스럽게 답하는 일에 대해서는 이미 인간과 유사한 수준에 도달했다는 평가도 있다, 하지만 이러한 성능은 주로 “무엇이 보이는가” 또는 “문장이 무엇을 의미하는가”와 같은 일반적인 이해 능력에 기반한 것이다. 문제는, 이러한 모델이 문화적 맥락을 요구하는 질문에 대해서는 종종 부적절하거나 엇나간 답변을 생성하여 쉽게 실패한다는 점이다. 이는 단순한 오류라기보다, 인공지능이 학습한 세계 자체가 특정 문화에 편향되어 있기 때문이라는 지적이 이어지고 있다.
이러한 한계의 중요한 원인 중 하나는 데이터에 있다. 현재 인공지능 모델은 방대한 양의 이미지와 텍스트 데이터를 통해 학습되는데, 이 데이터는 특정 지역과 언어, 특히 서구권 중심으로 구성된 경우가 많다. 그 결과, 모델은 자연스럽게 그 문화에서 자주 등장하는 대상과 표현에는 강해지지만, 다른 문화에 대해서는 충분한 이해를 갖추지 못하게 된다. 다시 말해, 인공지능이 이해하는 “세계”는 실제 세계의 다양성을 온전히 반영하지 못한 채, 특정 방식으로 편집된 세계에 가깝다. 하지만 더 근본적인 문제는 이러한 한계가 그동안 충분히 드러나지 않았다는 점이다. 기존의 인공지능 평가 방식은 주로 객체 인식이나 문장 이해처럼 비교적 보편적인 과제에 초점을 맞추고 있었으며, 문화에 따라 해석이 달라질 수 있는 상황은 거의 고려하지 않았다. 따라서, 인공지능 모델이 문화적으로 부적절한 답변을 하더라도, 기존의 평가 기준에서는 높은 성능을 기록하는 일이 가능했다. 다시 말해, 문제는 존재했지만, 그것을 드러낼 수 있는 평가 틀이 부족했던 것이다.
이러한 인식 위에서, 최근 연구들은 데이터와 평가 방식을 함께 재구성하는 방향으로 나아가고 있다. 한편에서는 더 다양한 국가와 언어, 그리고 문화적 맥락을 포함하는 데이터셋을 구축하려는 시도가 이루어지고 있으며, 다른 한편에서는 문화적 맥락을 반영한 새로운 평가 방식을 설계하려는 노력이 이어지고 있다. 예를 들어, 동일한 질문이라도 문화에 따라 다른 해석이 가능하도록 문제를 구성하거나, 단순히 정답 여부가 아니라 해당 문화에서 얼마나 적절한 답변인지를 평가하는 방식이 제안되고 있다. 이는 인공지능 모델을 단순히 “더 많은 정보를 아는 시스템”으로 만드는 것이 아니라, 맥락에 따라 “다르게 이해할 수 있는 시스템”으로 확장하려는 시도라고 볼 수 있다. 나아가 일부 연구에서는 문화와 감성 이해를 단순한 정보의 문제가 아니라 규범과 가치의 문제로 확장하고 있다. 어떤 행동이 적절한지, 어떤 표현이 예의에 맞는지는 단순한 사실 지식만으로는 설명할 수 없으며, 사회적 맥락과 기대를 함께 고려해야 한다. 이러한 관점에서 보면, 문화와 감성 이해는 정답을 맞히는 문제가 아니라, 특정 상황에서 어떤 판단과 해석이 가능한지를 다루는 문제에 가깝다.
이 글은 이러한 흐름을 바탕으로, 인공지능이 문화와 감성을 어떻게 이해하고 있으며, 그 이해를 우리는 어떤 방식으로 드러내고 평가하고 있는지를 살펴보고자 한다. 특히 데이터의 구성과 평가 방식이 이 문제에서 어떤 역할을 하는지, 그리고 최근 연구들이 이 두 요소를 어떻게 재설계하고 있는지를 중심으로 소개한다. 이를 통해 인공지능의 “이해”라는 개념이 어디까지 확장될 수 있는지, 그리고 우리가 기대하는 이해란 무엇인지에 대해 생각해보고자 한다.
