AIヌード化ツールが300万件のディープフェイク画像を生成、学校現場は対応に苦慮

AI搭載のヌード化ツールは今年に入り、同意なきディープフェイク画像を数百万枚生成し、学校、保護者、規制当局が封じ込めに奔走する新たなカテゴリーのデジタル虐待を生み出している。

写真から衣服を除去したり、ゼロから性的コンテンツを作成できる生成AIシステムの普及は、かつてインターネットの周辺問題だったものを主流の危機へと変えた。デジタルヘイト対策センター（CCDH）は高い確度で、xAIのGrokだけで1月に300万枚の性的画像（うち2万枚以上は子どもを描いたもの）が作成されたと推定している。xAIはその後、安全策を導入したものの、今週公開されたWIREDの分析では、Grok.com上に依然として数十件の露骨なディープフェイクがホストされており、有名人や少なくとも1人の米国人政治家の画像が含まれていることが判明した。

「イーロン・マスクは、ユーザーがボタン一つで女性や子どもの衣服を脱がせることを助ける異常な機能を、予測可能な損害を顧みずに意図的に自社プラットフォームに追加した」と、CCDHのCEO兼創設者イムラン・アーメド氏は述べた。

この虐待行為は学校現場にも及んでおり、生徒たちは公開されているヌード化アプリを使って同級生や教師を標的にしている。K-12（幼稚園から高校相当）向けコンテンツフィルタリングソフトウェアを提供するLightspeed Systemsの製品担当エグゼクティブバイスプレジデント、ジェニファー・デュアー氏は、これらのツールがセクストーション（性的脅迫）事件の増加を招いていると指摘する。「子どもたちが誰かに写真を送ると、その写真が本来とは違うものに変換される。そして『金を払え、さもなければ友人や家族全員に話す』と脅されるのだ」

法規制の状況は依然として断片的

今年成立した連邦法「Take It Down Act」は、同意のない親密な画像表現（AI生成のディープフェイクを含む）のオンライン公開を犯罪化している。ほとんどの州も同様の法律を可決した。しかし、学区は新たな法的現実に合わせて内部ポリシーを更新するのが遅れている。

GoGuardianのプライバシー・データポリシー担当シニアディレクター、テディ・ハートマン氏は、ほとんどの学校システムにはディープフェイクに特化したポリシーがないと述べた。「学校レベルでは、通常、ディープフェイクに特化したポリシーは存在しない。しかし、ほとんどの学校システムには責任ある利用やネットいじめに関するポリシーが整備されている。それらは、たとえ極めて過激で生々しい形態のネットいじめであっても、依然として機能する」

連邦法と学校レベルの執行との間のギャップは、責任リスクを生み出している。デュアー氏は、学校の敷地内や学校のデバイスを使用してディープフェイクいじめが発生した場合、保護者が学区を訴える可能性があると警告した。また学校は、職員の偽画像を学生が作成したケースにも対応しており、コンテンツが偽造と確認される前に調査や停学処分が行われている。

検出ツールは進化に追いつけず

市販のディープフェイク検出ツールは、加工された画像を約90%の精度で検出できるが、生成AIの進歩に伴い技術は劣勢に立たされている。「AIはそれらを欺くのがどんどん上手くなっている」とデュアー氏は述べた。「以前は指が一本多かったり、歯の形が不自然だったりといった決定的な兆候があった。しかし今では非常にリアルに見える」

コンテンツフィルタリング企業は適応を進めている。GoGuardianの視覚的ヌード検出システムは、実際の画像かAI生成かを問わずヌード画像を動的にブロックし、学校支給デバイス上でのアクセスを防止する。Lightspeed Systemsは、生徒が報復を恐れずに事件を報告できる匿名報告ツールを提供している。

AIプラットフォームへの規制圧力が高まる

この問題は学校の枠を超えている。カナダのプライバシー委員会は今週、xAIが適切な保護策を当初から導入しなかったとして、連邦プライバシー法に違反したとする予備的調査結果を公表した。調査は、xAIが新たな保護策を導入したものの、その有効性を実証していないと指摘した。

xAIの親会社であるSpaceXは5月の提出書類で、進行中の法的苦情（Grokに関連するものを含む）に対処するために5億3000万ドルを積み立てていることを開示した。同書類は、Grokの「Unhinged」および「Spicy」モードが「評価損害、潜在的に露骨なコンテンツの生成、誤情報や欺瞞的な出力を含む heightened risks（高まったリスク）を提示する」と警告した。

約10年間にわたり明示的AIコンテンツを追跡してきたディープフェイク専門家のヘンリー・エイダー氏は、Grokの保護策は依然として主流の競合他社に遅れをとっていると述べた。「GrokとXは、特に今年初めのヌード化機能をめぐる反発を受けてモデルにいくつかの修正を加えたかもしれないが、他の主流ツールの水準に引き上げるのに十分な対応をまだ行っていない」

投資家にとって、規制の軌道は明確だ。SpaceXの5億3000万ドルの引当金は、AI生成コンテンツに関連した法的コストが重要性を増していることを示している。堅牢なコンテンツモデレーションの導入に失敗した企業、特に18歳未満のユーザーにサービスを提供する企業は、連邦および州による執行が強化される中で、エスカレートする責任リスクに直面する。Take It Down Actは被害者に私人訴訟権を付与しており、規制上の罰金をはるかに上回る民事訴訟への道を開いている。

本記事は情報提供のみを目的としており、投資助言を構成するものではない。