Les modèles d'IA les plus récents, comme o3 et o4-mini d'OpenAI, montrent une propension accrue à inventer des informations, un phénomène préoccupant qui souligne les défis persistants dans le développement de l'IA.
Malgré des avancées significatives dans divers domaines, la capacité de ces modèles à générer des réponses factuellement incorrectes, ou « hallucinations », est en augmentation, soulevant des questions quant à leur fiabilité et à leur compréhension du monde réel. Ce problème met en lumière la complexité de l'entraînement des modèles d'IA et la difficulté d'éradiquer complètement les erreurs.
- Chat dans différentes langues, dont le français
- Générer, traduire et obtenir un résumé de texte
- Générer, optimiser et corriger du code
L'augmentation des hallucinations : un paradoxe
Alors que les modèles de langage deviennent de plus en plus sophistiqués, leur capacité à « halluciner » des réponses fausses semble paradoxalement augmenter. OpenAI a constaté que ses modèles o3 et o4-mini avaient des taux d'hallucination plus élevés que son modèle précédent, o1. Lors d'un test évaluant la connaissance des personnalités publiques (PersonQA), o3 a halluciné dans 33 % des cas, tandis que o4-mini a atteint 48 %. En comparaison, o1 n'a halluciné que dans 16 % des cas.
Cette tendance est d'autant plus préoccupante que ces nouveaux modèles sont commercialisés comme étant plus précis grâce à des processus de raisonnement améliorés. L'architecture des modèles de la série o leur permet d'affiner leurs processus cognitifs, d'explorer différentes stratégies et de reconnaître leurs erreurs. Cependant, il semblerait que cette complexité accrue conduise également à une plus grande propension à générer des informations erronées.
L'origine de ce phénomène reste floue. OpenAI admet ne pas comprendre pleinement pourquoi les hallucinations augmentent avec la montée en puissance des modèles de raisonnement. L'entreprise suggère que les modèles o3 et o4-mini, ayant tendance à affirmer davantage de choses, produisent à la fois plus d'assertions exactes et inexactes. Cette complexité croissante rend également les erreurs plus difficiles à détecter pour les formateurs, les testeurs et les utilisateurs.
Les causes profondes des hallucinations
Les hallucinations ne sont pas de simples erreurs aléatoires, mais plutôt le reflet de la manière dont les modèles de langage sont conçus. Ces modèles ne sont pas conçus pour restituer des faits, mais plutôt pour composer des réponses statistiquement probables, basées sur les schémas présents dans leurs données d'entraînement. En d'autres termes, ils prédisent le mot suivant le plus probable dans une phrase, sans nécessairement vérifier la véracité des informations.
Plusieurs facteurs peuvent contribuer aux hallucinations. Un modèle entraîné sur des données biaisées ou incomplètes est plus susceptible de générer des réponses erronées. De même, un modèle qui n'a pas été suffisamment entraîné ou qui manque de paramètres peut avoir du mal à distinguer les informations factuelles des inventions. Le manque de transparence dans le fonctionnement interne des modèles de langage rend également difficile l'identification et la correction des causes profondes des hallucinations.
Le problème des hallucinations n'est pas propre à ChatGPT. D'autres systèmes d'IA, comme Apple Intelligence, sont également sujets à ce phénomène. Cela suggère que les hallucinations sont un défi fondamental dans le domaine de l'IA, lié à la manière dont ces systèmes sont conçus et entraînés.
Les implications et les solutions potentielles
Les hallucinations peuvent avoir des conséquences importantes, allant de la diffusion de fausses informations à la diffamation. Dans certains cas, ChatGPT a inventé des histoires de toutes pièces, accusant des individus de corruption, d'abus sur mineurs, voire de meurtre. Ces erreurs peuvent nuire à la réputation des personnes concernées et éroder la confiance du public dans les systèmes d'IA.
Plusieurs approches sont envisagées pour limiter les hallucinations. L'une d'elles consiste à utiliser la RAG (Retrieval Augmented Generation), une technique dans laquelle le chatbot se réfère à un texte de confiance avant de répondre. C'est notamment la méthode qu'utilise Google, non pas pour son chatbot Gemini, mais pour son autre service IA : NotebookLM. Dans cet outil, le modèle d'IA sous-jacent (Gemini en l'occurrence) s'astreint aux sources qui lui sont fournies. C'est aussi ce que tente de faire Perplexity en s'appuyant majoritairement sur des sources tirées du web, associées à chaque affirmation dans ses réponses.
D'autres solutions consistent à améliorer la qualité des données d'entraînement, à augmenter la taille des modèles et à développer des techniques d'auto-réflexion interne. Des chercheurs travaillent également sur des méthodes pour « scanner le cerveau » des neurones artificiels d'un modèle de langage, afin de révéler les schémas de tromperie. L'objectif est de créer des chatbots qui « disent moins de bêtises » ou qui, au moins, indiquent clairement lorsqu'ils ne sont pas sûrs de leurs réponses.
Si l'élimination complète des hallucinations semble impossible, ces différentes techniques pourraient contribuer à les rendre moins fréquentes et moins problématiques. L'avenir de l'IA dépendra de notre capacité à maîtriser ce phénomène et à garantir que les systèmes d'IA sont fiables et dignes de confiance. L'annonce récente d'OpenAI concernant les modèles o3 et o4-mini soulève des questions importantes sur la direction que prend le développement de l'IA et sur les compromis que nous sommes prêts à accepter.
Source : Tech Radar
04 février 2025 à 14h11
