Les outils de nudification alimentés par l'IA ont généré des millions d'images deepfake non consensuelles depuis le début de l'année, créant une nouvelle catégorie d'abus numériques que les écoles, les parents et les régulateurs tentent désespérément de contenir.
La prolifération des systèmes d'IA générative capables de dévêtir des personnes sur des photos ou de créer du contenu explicite de toutes pièces a transformé un problème marginal d'Internet en une crise généralisée. Le Center for Countering Digital Hate estime avec une forte probabilité que le seul modèle Grok de xAI a créé 3 millions d'images sexualisées en janvier, dont plus de 20 000 représentant des enfants. Bien que xAI ait depuis introduit des garde-fous, une analyse de WIRED publiée cette semaine a révélé que des dizaines de deepfakes explicites sont toujours hébergés sur Grok.com, y compris des images de célébrités et d'au moins une personnalité politique américaine.
« Elon Musk a délibérément ajouté une fonctionnalité perverse à sa plateforme qui permet aux utilisateurs de déshabiller des femmes et des enfants en un clic, sans se soucier des dégâts prévisibles que cela causerait », a déclaré Imran Ahmed, PDG et fondateur du Center for Countering Digital Hate.
Ces abus ont migré vers les écoles, où les élèves utilisent des applications de nudification accessibles au public pour cibler leurs camarades de classe, voire leurs enseignants. Jennifer Duer, vice-présidente exécutive des produits chez Lightspeed Systems, qui fournit des logiciels de filtrage de contenu aux écoles K-12, a indiqué que ces outils entraînent une recrudescence des cas de sextorsion. « Des enfants envoient une photo à quelqu'un, et cette photo est transformée en quelque chose qu'elle n'était pas », a expliqué Duer. « Désormais, ils disent : "Hé, paie-moi ou je vais le dire à tous tes amis et à ta famille." »
Le paysage juridique reste fragmenté
La loi fédérale Take It Down Act, promulguée cette année, criminalise la publication en ligne non consensuelle de représentations intimes visuelles, y compris les deepfakes générés par IA. La plupart des États ont adopté des lois similaires. Mais les districts scolaires ont été lents à mettre à jour leurs politiques internes pour s'adapter à cette nouvelle réalité juridique.
Teddy Hartman, directeur principal de la politique de confidentialité et des données chez GoGuardian, a déclaré que la plupart des systèmes scolaires ne disposent pas de politiques spécifiques contre les deepfakes. « Au niveau de l'école, il n'existe généralement pas de politique spécifique sur les deepfakes », a indiqué Hartman. « Mais la plupart des systèmes scolaires ont des politiques d'utilisation responsable et de lutte contre la cyberintimidation. Celles-ci fonctionnent encore, même face à cette forme extrême et graphique de cyberintimidation. »
Le décalage entre la loi fédérale et son application au niveau des écoles crée un risque de responsabilité juridique. Duer a averti que les parents pourraient poursuivre les districts lorsque des cas de deepfake bullying se produisent sur les propriétés scolaires ou en utilisant des appareils scolaires. Les écoles sont également confrontées à des élèves créant de fausses images de membres du personnel, déclenchant des enquêtes et des suspensions avant que le contenu ne soit vérifié comme étant fabriqué de toutes pièces.
Les outils de détection peinent à suivre le rythme
Les outils de détection de deepfakes disponibles dans le commerce peuvent identifier les images manipulées avec une précision d'environ 90 %, mais cette technologie perd du terrain à mesure que l'IA générative s'améliore. « L'IA devient meilleure pour tromper ces outils », a déclaré Duer. « Avant, il y avait des signes révélateurs, comme un doigt supplémentaire ou des dents étranges. Mais maintenant, les images ont l'air vraiment réalistes. »
Les entreprises de filtrage de contenu s'adaptent. Le système de détection de nudité visuelle de GoGuardian peut bloquer dynamiquement les images de nudité, qu'elles soient réelles ou générées par IA, empêchant leur accès sur les appareils fournis par l'école. Lightspeed Systems propose des outils de signalement anonymes permettant aux élèves de signaler des incidents sans crainte de représailles.
La pression réglementaire s'intensifie sur les plateformes d'IA
Le problème dépasse le cadre scolaire. La commissaire à la protection de la vie privée du Canada a publié cette semaine des conclusions préliminaires selon lesquelles xAI aurait violé la loi fédérale sur la protection de la vie privée en n'ayant pas mis en œuvre les garanties appropriées dès le départ. L'enquête a noté que xAI avait introduit de nouvelles protections, mais a indiqué que l'entreprise n'avait pas démontré leur efficacité.
SpaceX, la société mère de xAI, a divulgué dans un document déposé en mai avoir mis de côté 530 millions de dollars pour traiter les plaintes juridiques en cours, y compris celles liées à Grok. Le document prévient que les modes « Unhinged » et « Spicy » de Grok présentent « des risques accrus, notamment une atteinte à la réputation, la génération de contenu potentiellement explicite et de la désinformation ou des résultats trompeurs ».
Henry Ajder, expert en deepfakes qui suit le contenu explicite généré par IA depuis près d'une décennie, a déclaré que les garde-fous de Grok restent en retard par rapport aux concurrents grand public. « Bien que Grok et X aient peut-être apporté quelques modifications à leur modèle, notamment après la controverse autour de la nudification au début de l'année, ils n'ont toujours pas fait un travail suffisant pour l'amener au niveau des autres outils grand public disponibles », a déclaré Ajder.
Pour les investisseurs, la trajectoire réglementaire est claire. La réserve de 530 millions de dollars chez SpaceX indique que les coûts juridiques liés au contenu généré par IA deviennent significatifs. Les entreprises qui ne mettent pas en œuvre une modération de contenu robuste — en particulier celles qui servent des utilisateurs de moins de 18 ans — font face à une responsabilité croissante alors que les poursuites fédérales et étatiques s'intensifient. La loi Take It Down Act prévoit un droit d'action privé pour les victimes, ouvrant la voie à des procès civils qui pourraient éclipser les amendes réglementaires.
Cet article est fourni à titre d'information uniquement et ne constitue pas un conseil en investissement.
