DiscordのAIが大量のユーザーを誤BAN！その真相とDiscordの対応に迫る

DiscordのAIによる大量誤BAN事件：二度目の惨劇とAIの闇

2024年末から2025年にかけて、Discordで二度の大規模な誤BANが発生しました。一度目はドイツ全土のユーザーがスパムと誤認されBANされたという衝撃的な出来事、二度目は人気ゲーム「Marvel Rivals」のDiscordサーバーのユーザーが大量にBANされた事件です。これらはいずれもDiscordのAIによるものとされていますが、その真相はAIの単純なミスだけでは片付けられない、恐るべきものだったのです。

事件1：ドイツ全土がBANされた！？

2024年12月19日、突如としてDiscordはドイツ全土のユーザーをスパム行為によりBANしました。これは、Discordのアンチボットセキュリティシステムが誤作動を起こしたためとされています。

• 発生日時: 2024年12月19日
• 原因: アンチボットセキュリティシステムの誤作動
• 影響: ドイツ全土のDiscordユーザー

一見すると、システムのバグによる単なるミスのように見えます。しかし、この事件が後の大規模なBANへとつながる伏線だったのです。

事件2：「Marvel Rivals」ユーザーへの大量BANと「児童安全」という名の謎

2025年1月8日、今度はゲーム「Marvel Rivals」のDiscordサーバーで、多数のユーザーがBANされました。その理由はなんと「児童安全」違反。しかし、BANされたユーザーが実際に児童ポルノ関連のコンテンツを共有していたわけではありませんでした。

• 発生日時: 2025年1月8日
• 原因: DiscordのAIによる誤判定（と推測される）
• 影響: Marvel Rivalsサーバーの多数のユーザー
• 理由: 「児童安全」違反（実際はMarvel Rivalsの宣伝動画）

児童安全違反とは？

Discordは、以下のような行為を「児童安全」違反としてBAN対象としています。

• 児童ポルノ（CP）や性的虐待コンテンツ（CSAM）の送受信
• 児童への性的グルーミング行為
• 未成年による性的行為に関するコンテンツの共有

しかし、Marvel RivalsのユーザーがBANされた原因は、ゲーム内の新しいコスチューム（Invisible Woman Maliceスキン）の宣伝動画を共有したことでした。この動画が、DiscordのAIによって誤ってCPと認識されたのです。

Discord AIの衝撃的な誤判定：なぜ？

では、なぜDiscordのAIは宣伝動画をCPと誤認したのでしょうか？

仮説1：トロールによる大量通報

Redditでは、一部のユーザーが故意にこの動画をCPとして大量に通報したという説が有力視されています。十分な数の通報があると、DiscordのAIがそれをCPと誤判定した可能性があるのです。

仮説2：Discord AIの低性能

もう一つの可能性として、DiscordのAI自体が非常に低性能であるという説が挙げられます。そもそもDiscordのAIは、コスト削減のために導入されたという情報もあり、その精度は疑問視されています。

現実：人間の目による再確認システムの欠如

Discordは公式ブログで、CSAMコンテンツ対策に機械学習を用いていることを明らかにしており、AIが不適切なコンテンツを検出すると、人間がそれを検証するという手順を謳っています。しかし、Marvel Rivalsの事件では、この人間による検証が適切に行われなかった、もしくはシステム自体に欠陥があったと推測されます。

Discordの対応とその後

Discordは、大規模なBANの後、多くのユーザーを復旧させました。しかし、その対応は遅々として進んでおらず、多くのユーザーが未だにBANされたままです。Discordのサポートへの問い合わせも効果がないとのことです。

Discordの無関心？

Discordは、BANされたユーザーに対して、機械的な返信を送りつけるだけで、個々のケースを真摯に検討していないように見えます。これにより、Discordに対する不信感が高まっています。

児童安全BANの意味の希薄化

以前は、「児童安全」違反によるBANは、確実に犯罪行為に関与したユーザーに対するものでした。しかし、今回の事件によって、その意味が希薄化し、信頼性が損なわれています。

AI導入のコストとリスク：スケーラビリティと人間の目

DiscordがAIを導入した理由の一つは、コスト削減とスケーラビリティの向上です。人間のモデレーターを雇うよりも、AIによる自動化の方がコスト効率が良いからです。しかし、今回の事件は、AI導入によるコスト削減が、かえって大きなリスクを生み出したことを示しています。

• コスト削減: 人間のモデレーターを雇うコストよりも低い。
• スケーラビリティ: 大量のデータを処理できる。
• リスク: 誤判定による大量BAN、ユーザーの信頼感の低下、児童ポルノ対策の阻害

DiscordのAIは本当に機能しているのか？

DiscordのAIによる誤判定は、単なる技術的な問題ではありません。それは、AIシステムの信頼性、そして企業の責任の問題でもあります。

AIによる「誤BAN」の恒常化

今回の事件以降も、DiscordではAIによる誤BANが頻発していることが報告されています。数人の誤BANであれば問題にもなりませんでしたが、大勢のユーザーが不当にBANされるという事態は、Discordのシステムに根本的な問題があることを示しています。

ユーザーへの影響

誤BANされたユーザーは、Discordアカウントを失うだけでなく、コミュニティからの孤立、精神的な苦痛など、多大な影響を受けています。

NCMECへの報告の影響

誤った通報がNCMEC（全米行方不明・搾取児童センター）に報告されると、NCMECの活動に支障をきたします。本当に助けを必要としている子どもたちを見つける作業が阻害される可能性があるのです。

まとめ：DiscordのAIと未来

Discordは、今回の事件から学び、AIシステムの改善に真剣に取り組むべきです。しかし、現状ではその意思が見えず、ユーザーの不満は高まるばかりです。DiscordがAI導入によるコスト削減を優先するのではなく、正確性と公平性を重視したシステム構築を心がけることが、ユーザーの信頼回復、そして真の児童保護につながるでしょう。

今後のDiscordの対応が、ユーザーの信頼回復に繋がるかどうか、そしてAI技術の倫理的な利用について、改めて考えさせられる事件となりました。