有害なコンテンツを検出するためにどのようにテクノロジを活用しているか
Microsoft では、有害なコンテンツおよび行動からユーザーを保護するために多層的なアプローチを使用しています。
特定のカテゴリの既知の違法および有害な画像コンテンツを検出し、その拡散を止めるために、Microsoft がホストしているコンシューマー サービスを通じて共有される画像や動画コンテンツや、インターネットにおける視覚映像検索用にアップロードされているコンテンツに対して、PhotoDNA および MD5 のハッシュ マッチング技術を展開しています。"ハッシュ" によって画像が一連の数値に変換され、比較、格納、処理を簡単に行えるようになります。この "ハッシュ" は可逆性がありません。つまり、これを使って元の画像を再生成することはできません。私たちは、EU 指令 2002/58/EC によって統制されるサービスにおいて、潜在的な児童性的素材を検出するためのハッシュ マッチング技術の使用に関して、EU規則(EU)2021/1232 によって許可された適用除外に従います。
また、テキストベースの分類子、画像分類子、グルーミング検出技術などの機械学習技術を使用して、Microsoft がホストしているコンシューマー サービスを通して共有されるコンテンツまたは行動のうち、違法または Microsoft のポリシーに違反するものを検出します。最後に、Microsoft では、ユーザー、政府、および信頼できるフラッガーからの報告を利用して、潜在的なポリシー違反に注意を払っています。これらのさまざまな技術は、それがデプロイされる機能やサービスに合わせて調整されており、すべてのサービスですべての技術を使用するわけではなく、また、すべてのサービスで同じ方法で使用するわけではありません。
Microsoft のサービスの一部では、高リスク ユーザーによる児童性的搾取および虐待画像 (CSEAI) の生成と共有を防ぐために、ビデオ通話機能の悪用を検出し、妨害するツールも展開しています。Microsoft は、CSEAI 素材を共有したために停止またはブロックされたユーザーとの過去の直接的なコミュニケーションを含む、いくつかのシグナルを使用して高リスク ユーザーを特定しています。ユーザーが高リスクとして特定され、他のシグナルが存在する場合、ボットがライブ通話に展開されます。ボットは人工知能を使用して、ライブ ビデオ通話に CSEAI が含まれているかどうかをほぼリアルタイムで判断します。通話中に CSEAI が検出された場合、その通話のビデオ機能は無効になります。