Amours artificiels, dangers réels : attention aux compagnons IA

Les chatbots qui se font passer pour des petits copains ou des petites copines ont fleuri peu après l’avènement de ChatGPT fin 2022. La plupart prospèrent en proposant des abonnements payants, mais ce n’est pas le seul moyen trouvé par les éditeurs pour faire les poches de leurs utilisateurs. La fondation Mozilla a examiné les pratiques de 11 bots « compagnons », présents sous la forme de sites web ou d’applications mobiles, et elles sont plutôt inquiétantes.

Liaisons dangereuses

De par leur nature même, ces bots sont le réceptacle d’un gros volume d’informations très confidentielles — les préférences sexuelles et les fantasmes, mais aussi plus prosaïquement l’adresse et le nom — dont l’exploitation est généralement laissée dans le flou le plus complet. En cas de fuite de données ou de hack du « compagnon virtuel », ces informations pourraient causer de sérieux dommages à la réputation de l’utilisateur.

Rien n’empêcherait non plus des pirates de se servir de ces données pour tenter d’escroquer les utilisateurs. Ces services présentent un « risque inhérent » de collecte de données en gros volume, souligne Mozilla. Quand ils sont des états de vulnérabilité émotionnelle, beaucoup d’utilisateurs exposent volontairement leur vie privée en négligeant les implications en termes de confidentialité.

Sans aller jusqu’au piratage de base de données, les bots IA revendent volontiers les données à des courtiers. C’est le cas de Romantic AI : après une seule minute d’utilisation, l’app avait envoyé des données à 24 354 traqueurs publicitaires (!), d’après le décompte des chercheurs de Mozilla. L’application assurait pourtant qu’elle ne vendait rien à personne… Généralement, ces services IA ne jouent pas franc jeu quand il s’agit d’expliciter l’exploitation des données privées.

Plusieurs d’entre eux ont aussi des pratiques de sécurité incompatibles avec les bases de la sécurité en ligne. L’étude jette un coup de projecteur sur Anima AI : le mot de passe de son compte peut ne comporter… qu’une seule lettre !

Enfin, la transparence de ces bots est nulle concernant leur fonctionnement. Certaines apps ne proposent aucun moyen d’effacer des messages, quand d’autres ne disent pas clairement quel modèle de langage est utilisé. Il y a aussi ces applications qui ne permettent pas aux utilisateurs de refuser que leurs conversations soient utilisées pour former de futurs modèles de langage.

Pour limiter les dégâts, Mozilla rappelle les règles d’une bonne hygiène numérique :

il ne faut rien dire à son « ami IA » que vous ne diriez pas à un collègue ou à un cousin ;
utilisez un mot de passe fort et installez les mises à jour de l’app quand elles sont proposées ;
supprimez vos données personnelles, ou demandez à l’éditeur de les supprimer quand vous en avez fini avec le bot ;
désactivez l’utilisation du contenu de vos discussions personnelles pour entraîner les modèles d’IA (quand l’option existe) ;
limitez l’accès à vos informations de localisation, photos, caméra et microphone depuis les paramètres de votre appareil.