AI 캐릭터 챗봇 청소년 유해 응답 점검과 차단 요청

성평등가족부가 사업자에게 요청한 개선은 캐릭터에 접근하는 범위와 대화에서 생성되는 내용에 각각 적용됩니다. 청소년에게 부적절한 응답을 만들 우려가 있는 캐릭터는 성인인증 여부에 따라 검색·추천·대화 가능 범위를 조정하도록 했습니다. 자해·자살을 조장하거나 구체적인 범죄 실행을 돕는 등 중대한 위해 우려가 있는 응답은 이용자가 성인이더라도 생성되지 않도록 보호조치를 보완해 달라고 요청했습니다.

이번 발표는 모든 AI 캐릭터 챗봇의 이용을 일괄 제한하는 결정이 아니라, 점검 결과를 해당 사업자에게 전달하고 자율적인 개선을 요청한 내용입니다. 성평등가족부는 사업자와 실무협의를 이어가며 청소년 보호정책 개선방안을 논의하겠다고 밝혔습니다. 사업자가 자체적으로 점검하는지와 보호조치를 실제로 개선하는지도 지속적으로 확인할 계획입니다.

점검은 성평등가족부가 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터가 맡았습니다. 일부 AI 캐릭터 챗봇 서비스에서 캐릭터가 실제로 생성하는 대화 응답을 살펴본 결과, 성적 행위의 구체적 묘사와 폭력·잔혹성, 자해·자살 및 범죄·불법행위 조장 등 유해 우려가 있는 내용이 확인됐습니다. 이는 점검한 일부 서비스와 캐릭터에서 나온 결과로, 모든 캐릭터의 응답이 유해하다고 확인된 것은 아닙니다.

AI 캐릭터 챗봇은 이용자가 성격과 이야기 설정이 있는 캐릭터를 고르거나 직접 만든 뒤, AI가 생성하는 답변으로 대화와 이야기를 이어가는 서비스입니다. 일부 서비스는 성인인증 기능을 운영하면서도 인증을 거치지 않은 환경에서 캐릭터와 대화할 수 있게 하고 있습니다. 정부가 문제로 본 부분은 이런 이용환경에서도 청소년에게 유해할 우려가 있는 응답이 생성됐다는 점입니다.

기존 보호기능이 있는 서비스에서도 대화 내용을 충분히 막는지가 쟁점이 됐습니다. 제타는 청소년 유해 콘텐츠를 제한하는 ‘세이프 모드’를 운영했지만, 황정아 국회의원은 반복적인 우회 시도 과정에서 차단돼야 할 일부 응답이 생성됐다고 밝혔습니다. 정부의 개선 요청은 인증 기능이나 보호모드의 유무에 더해, 이용자가 실제로 받는 응답을 관리하는 데 초점을 두고 있습니다.