청소년 안전 위해 2.6조원 투자…"성착취 무관용 원칙"

생성형 AI 딥페이크 악용…"라벨 부착으로 차단"



불법 유해 콘텐츠 지적이 꾸준하게 제기된 숏폼 플랫폼 틱톡이 딥페이크, 청소년 성 착취 등 콘텐츠 제재를 강화하고 있다.



6일 틱톡은 안전한 인터넷의 날을 맞아 서울 강남구 삼성동 위워크에서 ‘미디어 세이프티 워크숍’을 열고 자사 콘텐츠 심사 방식을 공개했다.



틱톡은 신뢰안전팀을 구성해 행동규정을 기반으로 콘텐츠 심사를 하고 있다. 양수영 틱톡 동북아 신뢰안전팀 파트너십 매니저는 “전세계 약 4만명 직원들이 근무를 하고 있으며 , 연중 365일 전세계 시간대별 콘텐츠 심사 및 안전규정 집행 가능하도록 운영한다”고 소개했다.



특히 청소년 안전 및 복지를 위해 연령 제한에 힘 쓰고 있다. 틱톡은 청소년 안전을 위한 콘텐츠 심사에 20억 달러를 투입할 계획이다. 한화 기준 약 2조6000억원이 넘는 금액이다.



한국에서 틱톡은 만 14세 이상을 대상으로 서비스하고 있으며 인앱 신고 기능을 통해 미성년자 의심 계정을 파악하고 있다. 학부모가 틱톡을 다운로드하지 않을 수 있도록 앱마켓에서 자녀 보호 기능을 설정할 수도 있다.



특히 청소년 성 학대, 착취 영상에 대해서는 무관용 원칙을 취하고 있다는 설명이다. 양 매니저는 “청소년에 대한 착취 혹은 신체적 정서적 피해를 유발하는 콘텐츠들을 불허하고 있다”라며 “발견 즉시 삭제 조치를 취하고 있고 현지의 사법행정당국에도 신고를 하고 있다”라고 밝혔다.



미성년자는 세부연령별로 기본 설정이 제한된다. 예를 들어 만 14세에서 15세의 경우는 기본적으로 계정이 비공개로 설정이 된다. 다이렉트 메시지는 만 16세 이상부터 주고받을 수 있다. 만 16세 미만의 사용자가 제작한 콘텐츠는 추천 피드에 뜨지 않는다.



개인이나 사회에 상당한 위해를 끼치는 가짜 콘텐츠도 대응하고 있다. 양 매니저는 “공공 안전에 상당한 위험을 끼치는 콘텐츠, 잘못된 의학 정보나 기후 정보, 폭력적인 음모론, 선거와 관련된 허위 정보에 대해서 대응을 하고 있다”라며 “내부 심사 인력과 외부에 팩트 체킹 파트너가 협력한다”라고 설명했다.



생성형 AI(인공지능)을 악용한 딥페이크 콘텐츠에 대한 방지 대책도 소개했다. 양 매니저는 “생성형 AI 콘텐츠를 포함해 오해의 소지가 있는 조작된 콘텐츠를 일체 허용하지 않는다”라며 “크리에이터가 진짜처럼 보이도록 만든 생성형 AI 콘텐츠에 라벨을 부착하도록 했다”라고 밝혔다.



또 크리에이터가 틱톡의 생성형 AI 편집 툴을 활용하는 경우 해당 콘텐츠 라벨이 자동으로 형성된다. 단, 성착취, 희롱 및 괴롭힘 등 위반 사항이 있는 AI 콘텐츠에 대해서는 라벨을 붙이더라도 규정 위반으로 간주돼 틱톡이 조치를 취하고 있다.



정치인 계정도 제재하고 있다. 정부, 정치인, 정당 계정은 ‘GPPA’ 계정으로 별도 구분을 하고 제한 사항을 두고 있다. 크리에이티브 인센티브 수입, 광고, 캠페인, 선거 모금 등의 일부 기능을 사용할 수 없다.



이른바 가짜뉴스 등 허위정보에 대해서는 전문성이 있는 심사 인력, 팩트체크 기관들과 대응하고 있다. 특히 선거기간 동안 영향을 행사하는 계정에 대한 위험성을 감지하고 조치를 취할 수 있는 전문인력을 확보했다.



틱톡이 이처럼 콘텐츠 심사를 강화한 것은 글로벌 규제 강화에 대응하기 위한 것으로 해석된다. 지난해 11월 유럽연합(EU)은 DSA(디지털서비스법)에 따라 틱톡에 불법·유해 콘텐츠로부터 어린이들을 보호할 수 있는 구체적인 방안을 오는 30일까지 제출할 것을 요구했다.



DSA에 따르면 메타의 페이스북, 틱톡, X 등 19개 플랫폼은 초대형 온라인 플랫폼 및 검색엔진으로 지정됐다. 해당 플랫폼들은 유해·불법 콘텐츠 발견 시 신속히 제거하는 한편 신고 창구 등 예방 시스템을 마련해야 한다. 시정 조처를 하지 않으면 연간 글로벌 수익의 최대 6%에 해당하는 과징금이 부과될 수 있다.



류동근 틱톡코리아 공공정책 총괄은 “커뮤니티 가이드라인은 글로벌 공통 관리 원칙이고, 각 나라마다 상황이 다르다”라며 “한국은 방송통심의위원회가 규제 기관 역할을 하고 있고, N번방 사건 이후로 규제가 강화됐다”라고 밝혔다.



사후관리 한계를 보완하기 위해 선제적 노력도 함께 기울이고 있다는 게 틱톡의 설명이다. 양 매니저는 “누적된 많은 양의 위반 데이터를 쌓아 이를 기반으로 즉각적으로 행동에 취하고 있다”며 “선제적으로 다가올 위험을 예측하고 안전자문위원회를 통해 향후 어떤 트렌드에 유의해야 하고 방지해야 하는지 자문을 구하고 있다”고 설명했다.



류동근 총괄은 “개별 기업이 유해 콘텐츠 막을 수는 없겠지만 노력을 많이 하고 있다”라면서 “한국에서 틱톡은 언론진흥재단과 자살 예방 교육을 오랫동안 하고 있고, 선플재단과 같이 좋은 댓글을 위해 노력을 하고 있다”라고 강조했다.