2시간 걸렸던 검출, 90초 만에… 정확도도 300% 늘어
광학문자판독으로 SNS 낚시글 색출… n번방 원천차단

서울시가 ‘n번방’ 사건과 같은 아동·청소년 대상 디지털 성범죄를 예방하기 위해 인공지능(AI) 기술을 도입했다. 새로 도입한 기술은 얼굴이 나오지 않아도 영상 속 사물이나 음성만으로 아동·청소년 성착취물을 찾아낼 수 있도록 만들어졌다.

시는 서울연구원과 서울 디지털성범죄 안심지원센터가 함께 개발한 AI 프로그램을 도입해 서울시가 수행하는 24시간 불법 영상물 감시 작업에 투입한다고 22일 밝혔다.

아동·청소년은 디지털 성범죄 피해를 입어도 부모 등에게 쉽게 말하지 못해 신고가 잘 이뤄지지 않는다. 이에 피해 영상물이나 사진이 유포, 재유포되는 사례가 빈번하다. 서울시는 아동·청소년의 경우 당사자나 부모 신고 없이도 피해 영상물 삭제가 가능하도록 규정된 관련법을 효과적으로 활용할 수 있도록 이번 시스템을 개발했다.

새 시스템엔 AI 딥러닝 기반 안면인식 기술, 객체 인식 기술, 광학문자판독(OCR) 기술 등이 적용됐다. 프로그램은 네이버, 구글 등 검색 사이트와 페이스북, 인스타그램, 유튜브 등 소셜미디어에 자동으로 검색어를 입력, 불법 영상물을 찾아 내 해당 사이트에 삭제 요청을 보낸다. 삭제지원관이 수작업으로 하면 2시간이 걸리는 작업이 90초 만에 이뤄지며, 정확도도 300% 이상 높아진다는 설명이다.

AI는 소셜미디어 빅데이터 분석을 통해 아동·청소년 성범죄과 관련된 은어나 신조어도 자동으로 생성한다. 영상 속에서 성인과 잘 구분되지 않는 아동·청소년의 성별과 나이도 판별한다. 또 아동·청소년 피해 영상물에 자주 등장하는 책, 교복, 인형, 등 사물이나 청소년들끼리 주로 사용하는 언어도 인식한다.

특히 가해자들은 아동·청소년을 단속이 어려운 텔레그램, 라인 등 비밀방으로 유인하기 위해 소셜미디어에서 이미지에 문구를 넣어 사용하는데, 프로그램은 이미지 상의 문자도 인식해 색출한다. 서울시는 이를 통해 ‘n번방’ 사건처럼 비밀방에서 이뤄지는 범죄도 원천 차단하겠다는 계획이다.

서울연구원은 AI를 학습시키기 위해 서울 디지털성범죄 안심지원센터로부터 이미지 2500여건과 영상 100여건을 전달받아 사용했다. 딥러닝 기반 오픈소스 객체 검출 모델 중 하나인 ‘욜로(YOLO) v5’를 파인튜닝(AI 모델을 용도에 맞게 조율하는 것)해 개발했다.

김선순 서울시 여성가족정책실장은 “우리 사회를 충격에 빠트린 n번방 사건 뒤 4년이 흘렀지만 여전히 아동·청소년 대상 디지털 성범죄는 사라지지 않고 있다”며 “시는 성착취 영상을 특정할 수 있는 기술을 통해 선제적인 감시·삭제에 나서 아동·청소년이 안전한 서울을 만들어 나가겠다”고 말했다.