- 월간 이용자 148만명 제타, 성인인증도 없이 미성년 캐릭터 대상 성폭력 묘사 생성
- 유해 대화 차단되자 AI가 차단 회피 표현까지 제시
- 스캐터랩, 탐지 기준 강화·반복 시도 단계별 제재 적용 중 … 4분기 연령등급·청소년 이용시간 제한 도입
- 황정아 “스캐터랩 신속 대응에 감사, 타사들도 청소년 보호방안 더 고도화해야”

AI 챗봇 ‘제타(zeta)’가 성인인증을 거치지 않은 상태에서 미성년자로 설정된 캐릭터를 대상으로 성폭력 등을 묘사하는 대화를 생성하고, 차단 장치를 피할 수 있는 표현 방식까지 제시한 것으로 확인됐다. 운영사 스캐터랩은 유해 대화 탐지 기준 강화 등 즉각 조치에 나섰다.

더불어민주당 황정아 의원(대전 유성구을)이 스캐터랩으로부터 받은 자료에 따르면 2026년 9월 말 기준 제타의 월간 활성 이용자 수는 148만명이고, 이 중 19세 이하 이용자 수는 38만명에 달했다.

황정아 의원실이 청소년 이용자와 동일한 안전 기준이 적용되는 ‘세이프 모드’에서 제타를 점검한 결과, 미성년 캐릭터가 등장하는 대화 시나리오에서 성폭력과 성착취, 이를 빌미로 한 협박이 이어지는 대화가 생성됐다.

제타의 유해 대화 탐지 모델은 황 의원실의 점검 과정에서 문제 발화 200여 건을 차단했다. 그러나 우회방안을 반복적으로 시도하는 과정에서 일부 안전장치가 무력화되면서, 차단됐어야 할 발화가 일부 생성·노출됐다.

특히 대화가 차단되자 AI가 필터를 피할 수 있는 표현 방식을 제시하고, 유해한 전개를 이어가기도 했다.

스캐터랩은 “성인 인증 없이 이용할 수 있는 환경에서 유해한 대화가 생성된 문제를 무겁게 받아들인다”며 “문제 확인 후 즉시 유해 대화 탐지 및 차단 기능을 강화하고, 반복적인 유해 대화 시도에 대한 단계별 이용 제한 조치를 도입했다”고 밝혔다.

이어 “올해 4분기 중에는 AI의 대화 생성 단계에서도 청소년에게 부적절한 전개와 묘사를 줄이도록 개선하고, 콘텐츠별 연령등급을 도입해 청소년 보호 조치를 강화할 계획”이라고 설명했다.

스캐터랩에 따르면 긴급 조치는 세이프 모드 이용자 전체를 대상으로 순차 적용 중이며 10월 18일까지 완료된다. 같은 대화 시나리오에서 차단이 반복되면 ‘경고 → 대화 정지 → 대화 초기화’ 순으로 제재하는 단계별 제재도 함께 도입한다.

4분기 중에는 ▲AI가 생성 단계부터 연령에 맞게 전개·묘사를 조절하고 우회 요청에 응하지 않도록 개선 ▲대화 맥락을 반영하는 신규 탐지 모델 배포 ▲매월 정기 레드팀 점검 ▲청소년 이용시간(하루 3시간)·결제한도(월 10만원) 설정 ▲콘텐츠 연령등급 도입 등을 추진한다.

황정아 의원은 “스캐터랩이 문제를 인정하고 신속하게 대응에 나선 점에 감사드린다”며 “많은 청소년이 이용하는 AI 서비스인 만큼 보호 장치가 실제로 작동하는지 지속적으로 점검하고, 다른 AI 챗봇 업체들도 청소년 보호방안을 더욱 고도화해야 한다”고 말했다. 또한 “벤처·스타트업들이 향후 AI 안전성 문제로 발목 잡히지 않도록 정부에서도 컨설팅 등의 지원에 나서야 한다”고 강조했다.

한편 황정아 의원실은 악용과 확산을 막기 위해 구체적인 우회 방법은 공개하지 않기로 했다.

/끝/

<별첨: [스캐터랩] 제타 유해 대화 생성 건 경위 및 개선 계획>