Les chatbots d’intelligence artificielle (IA) peuvent présenter un danger pour les personnes vulnérables ou souffrant de problèmes de santé mentale. Google l’a compris à ses dépens, et met désormais à jour Gemini pour éviter toute dérive.
Car des dérives, il y en a eu, et pas seulement avec ChatGPT. Début mars, Google était poursuivie en justice par la famille de Jonathan Gavalas, un homme de 36 ans qui s’est suicidé après plusieurs mois de conversations avec Gemini. Et le contenu de leurs discussions ne laissent pas l’ombre d’un doute : le chatbot a directement contribué au désespoir de la victime, et l’a même poussé à commettre l’irréparable.
Offre partenaire
Puissant, intelligent, irrésistible. L'Airseekers Tron réinvente le nettoyage de votre jardin. Zéro effort, juste un résultat impeccable, chaque jour.
Offre partenaire
Gemini ne doit plus valider les croyances délirantes
« Nous sommes conscients que les outils d’IA peuvent poser de nouveaux défis, mais à mesure qu’ils s’améliorent et que de plus en plus de personnes les intègrent dans leur quotidien, nous pensons qu’une IA responsable peut contribuer positivement au bien-être mental de chacun », écrit la firme de Mountain View dans un billet de blog dédié.
Elle annonce, dans ce contexte, plusieurs axes d’amélioration. À commencer par l’interface de crise : lorsque Gemini détecte qu’un utilisateur pourrait être en danger, un module « Aide disponible » s’affiche avec une interface simplifiée en un clic, permettant de contacter une ligne d’écoute par téléphone, SMS ou chat. Une fois activé, ce module reste visible tout au long de la conversation.
De même, Google a retravaillé en profondeur le comportement de son IA face aux situations de crise. Le chatbot a été entraîné à ne pas valider les croyances délirantes, à éviter tout langage favorisant l’automutilation, et à systématiquement orienter l’utilisateur vers une aide humaine réelle. Un point crucial, lorsque l’on sait que les IA ont justement tendance à se montrer trop complaisantes, renforçant les comportements négatifs des usagers.
- Un modèle de génération puissant
- Une base de connaissances actualisée en temps réel
- Gratuit et intégré à l'écosystème Google
Des questions encore sans réponse
Des protections spécifiques ont également été renforcées pour les mineurs, notamment pour empêcher Gemini de se comporter comme un compagnon ou de simuler une relation d’intimité. La question est désormais de savoir si ces efforts seront suffisants. Car on sait que ces outils ont une propension à déraper au fil des conversations, un biais que les ingénieurs peinent encore à contrôler.
Et l’impact est considérable, puisqu’il s’agit d’applications grand public, accessibles à n’importe qui gratuitement. L’année dernière, plusieurs experts en santé mentale tiraient déjà la sonnette d’alarme, estimant que les chatbots engendrent la naissance de nouveaux troubles mentaux.
