콘텐츠 감지
Microsoft가 유해한 콘텐츠를 감지하기 위해 기술을 사용하는 방식
Microsoft는 다계층 접근 방식을 사용하여 사용자들을 유해한 콘텐츠와 행동으로부터 보호합니다.
Microsoft에서 호스트한 소비자용 서비스를 통해 공유된 이미지 및 비디오 콘텐츠와 인터넷상의 시각적 이미지 검색을 위해 업로드된 콘텐츠를 대상으로 해시 매칭 기술인 PhotoDNA와 MD5를 적용하여 특정 범주의 알려진 불법적이고 유해한 이미지 콘텐츠를 감지하여 확산을 막습니다. “해시”란 이미지를 손쉽게 비교하고 보관하고 처리할 수 있는 일련의 숫자로 변환하는 방법입니다. 이러한 해시는 불가역적입니다. 즉, 이를 사용하여 원본 이미지를 재구성할 수 없습니다. Microsoft는 EU(유럽 연합) 규정 2021/1232에서 허용하는 완화 기준에 의거, EU 지침 2002/58/EC가 적용되는 서비스에서 아동 성적 착취일 수 있는 콘텐츠를 감지하기 위해 하위 이러한 해시 매칭 기술을 사용합니다.
이에 더해 텍스트 기반 분류기, 이미지 분류기, 그루밍 감지 기법과 같은 기계 학습 기술을 사용하여 Microsoft에서 호스트된 소비자용 서비스를 통해 공유된 콘텐츠 또는 행동 중에서 불법적이거나 정책에 위반되는 콘텐츠를 찾아냅니다. 마지막으로, 사용자, 정부 기관 및 신뢰할 수 있는 감시 기관의 신고를 참고하여 잠재적인 정책 위반 사항을 찾아냅니다. 이 다양한 기술은 배포되는 기능과 서비스에 맞게 조정되므로, 모든 서비스에서 모든 기술을 사용하지 않거나 모든 서비스에서 동일한 방식으로 사용하지 않을 수 있습니다.
일부 서비스에서는 고위험 사용자가 아동 성적 착취 및 학대 이미지(CSEAI)를 생성하고 공유하는 데 비디오 통화 기능을 악용하는 것을 탐지하고 방지하기 위한 도구를 배포합니다. Microsoft는 CSEAI 자료를 공유하기 위해 정지되거나 차단된 사용자와의 과거 직접 통신을 포함하여 고위험 사용자를 식별하기 위해 여러 신호를 사용합니다. 사용자가 고위험으로 식별되고 다른 신호가 존재하는 경우, 라이브 통화에 봇이 배포됩니다. 봇은 인공지능을 사용하여 라이브 비디오 통화에 CSEAI가 포함되어 있는지 거의 실시간으로 판단합니다. 통화 중 CSEAI가 탐지되면 해당 통화의 비디오 기능이 비활성화됩니다.