Claude trahit ses créateurs en plein tribunal avec des faits inventés

L'intelligence artificielle Claude a récemment provoqué un impair majeur en fournissant une citation erronée dans un document légal destiné à défendre l'entreprise elle-même. Cette bévue souligne de manière crue les défis persistants liés aux hallucinations des modèles d'IA, même au sein des firmes à la pointe de cette technologie.

L'utilisation croissante des intelligences artificielles génératives dans le secteur juridique promet des gains d'efficacité, mais elle s'accompagne de risques non négligeables. Anthropic, l'un des acteurs majeurs du développement d'IA, se trouve actuellement au cœur d'un procès pour violation de droits d'auteur intenté par des éditeurs de musique Ironiquement, c'est son propre chatbot, Claude, qui a compliqué sa défense.

L'IA Claude d'Anthropic commet une erreur de citation cruciale

L'incident s'est produit lorsque les avocats d'Anthropic, du cabinet Latham & Watkins, ont utilisé Claude pour formater une référence bibliographique. Une avocate, Ivana Dukanovic, a admis avoir eu recours à Claude.ai pour générer une citation légale formatée à partir d'un lien URL vers un article supposé étayer le témoignage d'Olivia Chen, une scientifique des données chez Anthropic. Malheureusement, bien que le lien, le titre de la publication et l'année fussent corrects, la citation produite par Claude affichait un titre d'article et des auteurs inexacts.

Cette erreur n'a pas été détectée lors des relectures manuelles par l'équipe juridique avant que le document ne soit soumis au tribunal le 30 avril 2025. La juge Susan van Keulen, en charge de l'affaire, a qualifié la situation de « très sérieuse et grave », ordonnant à Anthropic de s'expliquer sur cette citation défaillante. L'avocate d'Anthropic a présenté des excuses à la cour, parlant d'une « erreur embarrassante et involontaire », tout en insistant sur le fait que l'article source existait bel et bien et soutenait l'argumentation de Mme Chen.

Les plaignants, représentant des éditeurs musicaux tels qu'Universal Music Group, avaient accusé Olivia Chen d'avoir utilisé Claude pour citer des articles fictifs. L'avocat des éditeurs, Matt Oppenheim, a indiqué avoir vérifié auprès de l'un des auteurs prétendument cités et du journal concerné, confirmant que l'article tel que décrit n'existait pas. Cet épisode met en lumière la facilité avec laquelle des informations incorrectes peuvent s'infiltrer dans des procédures judiciaires par le biais d'outils d'IA.

Les hallucinations des IA : un fléau grandissant pour la profession juridique

Ce n'est pas la première fois que des hallucinations d'IA sèment le trouble dans les prétoires. Ces erreurs, où l'IA génère des informations fausses mais plausibles, sont une préoccupation croissante. Des avocats ont déjà été sanctionnés pour avoir cité des affaires inexistantes, inventées par des chatbots. Par exemple, un juge fédéral a récemment recommandé une sanction de 15 000 dollars à l'encontre d'un avocat ayant utilisé des jurisprudences fictives produites par une IA. Un autre cas a vu un juge fédéral écarter le témoignage d'un expert en désinformation qui avait lui-même utilisé GPT-4o pour rédiger sa déclaration, y incluant des références à des articles académiques inexistants.

Les grands modèles de langage (LLM) sur lesquels reposent ces IA sont conçus pour prédire des séquences de texte en se basant sur les données d'entraînement, et non pour vérifier la véracité des informations ou des sources juridiques. Ils peuvent ainsi fabriquer des noms d'affaires, des citations ou des arguments juridiques qui paraissent authentiques mais sont dépourvus de fondement factuel. Une étude récente a révélé que les modèles d'IA juridiques peuvent produire des hallucinations dans au moins une requête sur six. Même les systèmes utilisant le retrieval-augmented generation (RAG), censés ancrer les réponses de l'IA dans des bases de données spécifiques pour améliorer la fiabilité, ne sont pas infaillibles. La profession juridique est donc confrontée à un défi majeur : comment intégrer ces outils puissants tout en maintenant l'intégrité et la rigueur exigées par la justice ? Des cabinets d'avocats, comme Morgan & Morgan aux États-Unis, ont dû avertir leurs employés des risques de licenciement en cas d'utilisation non vérifiée d'IA générant de fausses jurisprudences.

Source : The Register