GIST 김의환 교수팀 32종 평가

두 이미지 비교해 달라진 점 측정
사람 정답률 93%인데 AI는 61%
설명은 잘하지만 차이 못 알아봐

국내 연구진이 인공지능(AI)에게 달라진 그림 찾기를 시킨 결과 여전히 인간을 뛰어넘지 못한다는 결과를 얻었다.

광주과학기술원(GIST) AI학과 김의환(36) 교수팀은 두 장의 이미지를 비교해 AI가 주어진 상황에 맞는 중요한 변화를 찾아 정확히 설명하는지 채점하는 일종의 ‘AI 변화 이해력 채점표’인 ‘C3-벤치’를 개발했다고 14일 밝혔다. 이 연구 결과는 지난 8~12일 스웨덴 말뫼에서 열린 컴퓨터 비전 및 머신러닝 분야 국제 학술대회 ‘ECCV 2026’에서 발표됐다.

연구팀은 거리, 건설 현장 등을 찍은 자연 장면, 위성·항공 사진, 이미지 편집, 제품 결함과 이상 등을 파악하는 이상 탐지 4개 분야에서 51가지 변화 상황을 추렸다. 또 각 상황마다 이미지 두 장씩 모두 4996쌍을 모아 사람이 직접 정답과 찾아야 할 변화, 무시해도 되는 차이에 관한 설명을 달았다.

이후 AI 32종을 대상으로 정확성, 구체성, 유창성, 관련성, 변화 방향성 5가지 항목을 평가했다. 측정에 사용한 AI는 두 이미지를 비교해 달라진 점을 문장으로 설명해 주는 변화 캡셔닝 전용 모델 6종, 챗GPT-5.2, 제미나이 3 등 상용 모델 9종, 매개변수 20억~900억 규모의 오픈소스 모델 17종이다.

연구팀이 400개 이미지 쌍을 골라 사람과 챗GPT-5.2에게 문제를 풀도록 한 결과 정확성, 구체성, 유창성, 관련성 네 항목 종합 점수는 10점 만점에 사람이 7.45점, GPT-5.2는 5.72점으로 큰 차이를 보였다. 사진 순서를 뒤집은 뒤 답하도록 한 가역성 점수에선 격차가 더 크게 벌어졌다. 사람은 93%의 정답률을 보였지만 AI는 61%에 그쳤다. AI의 오류 유형을 분석했더니 전체 63.3%가 사진 속 물체를 못 알아보거나 종류를 잘못 파악하는 시각적 인식 오류로 나타났다.



반면 문장의 자연스러움만 떼서 보면 GPT-5.2가 8.53점으로 사람의 8.32점을 앞섰다. 말은 유창한데 정작 무엇이 달라졌는지 사람만큼 보지 못한다는 말이다. 연구를 이끈 김의환 교수는 “이번 연구는 AI가 자연스럽게 설명하는 능력과 상황에 맞는 변화를 정확히 이해하는 능력이 반드시 같지는 않다는 점을 보여 준다”고 설명했다.

세줄 요약

국내 연구진이 두 이미지를 비교해 달라진 점을 설명하는 AI 성능을 평가하는 C3-벤치를 개발했다. 사람과 AI 32종을 시험한 결과, 사람은 정답률 93%를 기록했지만 AI는 61%에 머물렀다. 문장은 자연스러워도 변화 자체를 정확히 파악하는 능력은 아직 부족했다.

• C3-벤치 개발, AI 변화 이해력 평가 체계 마련
• 사람 정답률 93%, AI는 61%로 큰 격차 확인
• 문장 유창성은 우수, 시각적 인식은 취약