C’est la première fois qu’une deepfake pornographique est autant commentée, tant par des fans que par des politiques : la semaine dernière, des images générées par l’IA de la chanteuse Taylor Swift, à caractère sexuel, étaient diffusées massivement sur X, le réseau social d’Elon Musk. La plateforme mettra 17 heures à réagir, avant de prendre une mesure inhabituelle : bloquer temporairement la recherche du nom de Taylor Swift sur la plateforme.
La diffusion d’images pornographiques de Taylor Swift, créées de toute pièce par l’IA, est loin d’être une surprise. L’Américaine, désignée comme la personnalité de l’année 2023 par Time, en a déjà été victime. Mais depuis le lancement d’outils d’IA accessibles au grand public, nombreux étaient ceux qui avaient tiré la sonnette d’alarme. En mars dernier, une éditorialiste du Guardian écrivait : la question n’est pas si, mais quand nous allons nous retrouver sur des deepfakes pornographiques. Elle aurait pu ajouter : la question n’est pas si, mais quand nous allons voir des réseaux sociaux en difficulté pour gérer la prolifération de deepfakes pornographiques.
À lire aussi : Les deepfakes pornographiques : un déplorable business en plein boom
1. Une image générée par l’IA vue 47 millions de fois avant d’être stoppée
Car ça y est. Fin janvier 2024, le cas emblématique a eu lieu. La semaine dernière, plusieurs images à caractère pornographique générées par l’IA, mettant en scène la chanteuse Taylor Swift, ont été publiées sur Telegram, avant de finir sur X, relate 404 Media. Contrairement à ce qui a pu être observé jusqu’à présent, les auteurs de ces deepfakes n’ont pas accolé le visage de Taylor Swift sur celui d’une actrice de film X. Ils auraient utilisé des outils de Microsoft gratuits, mais dont l’usage a été détourné, pour produire les images de A à Z, expliquent nos confrères.
Pendant plusieurs heures, les images circulent, jusqu’à atteindre, pour l’une d’entre elles, 47 millions de vues, et 24 000 partages. Le « Taylor Swift AI » est ensuite devenu le sujet principal de la plateforme. Sa communauté de fans a alors contre-attaqué, en publiant massivement de vraies vidéos de la chanteuse, afin que les images pornographiques soient noyées dans la masse.
2. X réagit… 17 heures plus tard
Ce n’est que 17 heures plus tard que X finit par réagir. Les conditions générales d’utilisation de la plateforme interdisent bien « les contenus modifiés artificiellement et susceptibles de tromper les gens ». Mais tout le problème réside dans l’application de ces règles. Car d’un côté, la plateforme a le statut d’hébergeur. Elle n’est pas responsable du contenu publié par ses utilisateurs, protégé par le principe de liberté d’expression. Mais de l’autre, la plateforme est censée retirer les contenus qui violeraient ses conditions générales et qui auraient été signalés. Le problème est qu’il s’agit de X : la plateforme est connue pour s’être délestée d’une partie de ses modérateurs après le rachat d’Elon Musk – des fonctions qui auraient pu tenter de gérer la diffusion à grande échelle de ces images.
Vendredi, le réseau social commence par supprimer les comptes qui avaient, les premiers, diffusé les images. Le lendemain, il prend une mesure inhabituelle : bloquer les recherches relatives à la chanteuse. Si vous effectuez une recherche à ce sujet sur le réseau social, vous aurez le message suivant : « Une erreur s’est produite. Essayez de recharger la page ». La mesure, décrite comme « temporaire », a été prise pour éviter la propagation des images litigieuses. Désormais, elles sont un peu plus difficiles à trouver, explique ce journaliste de Forbes, qui critique la façon dont X a tenté de régler le problème. Même son de cloche sur les pages de Mashable. « Le fait de rendre le nom de Swift introuvable suggère que X ne sait pas comment gérer la profusion d’images et de vidéos truquées sur sa plateforme », écrivent nos confrères.
Vendredi dernier, X avait déjà déclaré sur la plateforme que « la publication d’images de nudité non consensuelle est strictement interdite sur X et nous appliquons une politique de tolérance zéro quant à ce type de contenus. Nos équipes suppriment activement toutes les images identifiées et prennent les mesures appropriées contre les comptes responsables de leur publication ». Le réseau social a aussi annoncé avoir embauché des modérateurs dédiés à la lutte contre la pédopornographie, qui seront basés à Austin au Texas.
Posting Non-Consensual Nudity (NCN) images is strictly prohibited on X and we have a zero-tolerance policy towards such content. Our teams are actively removing all identified images and taking appropriate actions against the accounts responsible for posting them. We're closely…
— Safety (@Safety) January 26, 2024
3. La Maison-Blanche s’en mêle
Le cas a fait réagir la Maison-Blanche, qui s’est dite alarmée de la circulation de ces fausses images. La porte-parole, Karine Jean-Pierre, a rappelé que les réseaux sociaux devaient modérer les contenus diffusés sur leurs plateformes. « Malheureusement, trop souvent, nous savons que le manque d’application des règles a un impact disproportionné sur les femmes et les filles, qui sont les principales cibles du harcèlement en ligne », a-t-elle ajouté. Cette dernière a rappelé la responsabilité aux réseaux sociaux, qui ont un « un rôle important à jouer dans l’application de leurs propres règles pour empêcher la propagation de telles informations erronées ». « Ce qui se passe est très alarmant. Nous allons donc faire ce que nous pouvons pour résoudre ce problème », a-t-elle ajouté.
The circulation of false images of Taylor Swift are alarming. We know that incidences like this disproportionately impact women and girls. @POTUS is committed to ensuring we reduce the risk of fake AI images through executive action. The work to find real solutions will continue. pic.twitter.com/IOIl9ntKtP
— Karine Jean-Pierre (@PressSec) January 26, 2024
Le problème pourrait-il être réglé avec une loi qui traite de l’utilisation abusive de l’IA sur les réseaux sociaux ? C’est ce que pense Joseph Morelle, un membre démocrate du Congrès, dont le projet de loi « Preventing Deepfakes of Intimate Images Act » est actuellement discuté devant la commission judiciaire de la Chambre des représentants. Car aux États-Unis, aucune loi n’interdit, au niveau fédéral, ce type de fausse vidéo ou d’image générée par l’intelligence artificielle. Un vide que souhaite combler Joseph Morelle, qui veut faire « du partage d’images pornographiques modifiées numériquement, sans accord de la personne concernée », un crime fédéral, passible d’une peine d’emprisonnement et d’une amende. Il souhaiterait aussi que les victimes puissent poursuivre les auteurs en justice.
Pour le politique qui s’exprimait sur son compte X, « la diffusion d’images explicites de Taylor Swift générées par l’IA est consternante – et malheureusement, cela arrive à des femmes partout dans le monde, tous les jours… ». Les stars ne sont en effet pas les seules victimes de ce type d’images.
4. Les « anonymes » aussi victimes de deepfakes pornographiques
En octobre dernier, un lycée du New Jersey avait fait la Une des médias pendant plusieurs jours. Des adolescents avaient généré avec l’IA des versions dénudées de leurs camarades de classe (féminines). Un véritable cauchemar qui pourrait ne jamais prendre fin, a expliqué la mère d’une des victimes : « Je suis terrifiée par la façon dont cela va remonter à la surface. Ma fille a un brillant avenir et personne ne peut garantir que cela n’aura pas d’impact sur sa vie professionnelle, scolaire ou sociale », déplorait-elle.
Le cas est loin de se limiter aux États-Unis. En Espagne, une trentaine de jeunes filles, âgées de 11 à 17 ans, avaient aussi été victimes de deep fakes en septembre dernier : des jeunes gens avaient fait circuler sur les réseaux sociaux des photos d’elles nues, relatait la BBC. En France, une telle situation serait possible. Mais « nous avons un arsenal juridique qui est assez développé, à la fois au niveau civil et au niveau pénal », rappelle Arnaud Touati, associé du cabinet Hashtag Avocats, interrogé par 01net.com.
Récemment, la loi visant à sécuriser et à réguler l’espace numérique (SREN) est venue compléter ces dispositifs. La diffusion d’un deepfake pornographique est désormais punie d’une peine pouvant aller jusqu’à deux ans d’emprisonnement et 60 000 euros d’amende. « On a, en plus, créé une circonstance aggravante », souligne Arnaud Touati : « si la publication a lieu sur un service de communication au public en ligne (comme un réseau social, ndlr), le délit est sanctionné de trois ans d’emprisonnement et 75 000 euros d’amende ».
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp.
