Les progrès de l'IA commenceraient-ils à ralentir ? C'est en tout cas ce que suggèrent les derniers tests d'Orion, le prochain modèle phare d'OpenAI, qui ne montrerait pas les améliorations spectaculaires auxquelles nous avaient habitués les versions précédentes.
Après avoir révolutionné le monde de l'IA avec ChatGPT fin 2022, OpenAI fait face à un nouveau défi : les limites du scaling. Les employés qui ont testé Orion, nom de code du successeur de GPT-4, rapportent des progrès moins impressionnants qu'attendus. Cette situation pousse l'entreprise à repenser sa stratégie de développement.
Un ralentissement qui pose question
Dans certains domaines comme le code, Orion ne serait même pas systématiquement meilleur que son prédécesseur. Une situation qui tranche avec l'euphorie qui avait accompagné le lancement de GPT-4 en mars 2023. La raison principale ? La disponibilité limitée de données d'entraînement de qualité. OpenAI se retrouve confronté à un problème que les spécialistes redoutaient depuis longtemps : on ne peut pas améliorer indéfiniment les performances uniquement en augmentant la taille des modèles.
- Chat dans différentes langues, dont le français
- Générer, traduire et obtenir un résumé de texte
- Générer, optimiser et corriger du code
Une nouvelle approche en développement
Face à ce constat, OpenAI ne reste pas les bras croisés. L'entreprise a créé une équipe dédiée, baptisée « foundations », chargée d'explorer de nouvelles pistes d'amélioration. L'une des approches envisagées consiste à utiliser des données synthétiques générées par d'autres modèles d'IA. Le modèle pourrait d'ailleurs abandonner la nomenclature « GPT » traditionnelle, signe d'un changement de paradigme. Sam Altman, le PDG d'OpenAI, mise notamment sur la multimodalité comme fonctionnalité phare, permettant au modèle de traiter naturellement texte, images et vidéos.
Les attentes restent néanmoins élevées pour ce nouveau modèle attendu début 2025. Microsoft, partenaire privilégié d'OpenAI, affirme qu'il pourrait « passer les examens de qualification d'un doctorant » et promet des avancées significatives en matière de raisonnement. Ce ralentissement apparent des progrès marque peut-être moins une limite technologique qu'une évolution naturelle vers des améliorations plus qualitatives que quantitatives. Après tout, même les premiers ordinateurs ont connu une phase similaire, passant de bonds spectaculaires en puissance à des optimisations plus subtiles mais tout aussi importantes.
Source : The Information
25 novembre 2024 à 11h36