À partir d'une photographie ou d'un plan d'architecte, GPT-6.1 Terra peut retrouver un produit dans un catalogue ou construire une maquette 3D à l'écran, affirme OpenAI. On ne parle pas ici uniquement de reconnaissance visuelle, mais aussi et surtout du travail accompli ensuite dans les logiciels.
Après la présentation de GPT-6.1 Sol en septembre, OpenAI a lancé Terra. La présentation officielle affiche sa promesse en anglais, « From visual understanding to action », soit « de la compréhension visuelle à l’action ». Le modèle doit interpréter des images du monde réel, puis utiliser un ordinateur pour effectuer les opérations demandées. L'agent doit accomplir une tâche dans un logiciel à partir des éléments observés, au lieu de simplement commenter l'image. Le laboratoire n'a toutefois pas publié d'évaluation indépendante de ces usages.
Des images du monde réel aux logiciels de création
Avec un plan d'architecte, GPT-6.1 Terra doit reconnaître les formes représentées, puis manipuler un logiciel de modélisation pour construire un modèle en trois dimensions. OpenAI a retenu cet exercice dans ses évaluations des agents informatiques. L'agent doit donc accomplir une succession d'opérations à l'écran, et le résultat doit respecter les indications du plan original. Une image de bâtiment produite à partir du plan ne suffirait donc pas à accomplir le travail demandé.
Autre exemple choisi par OpenAI, la restauration d'un film d'animation. L'agent examine la séquence image par image pour dresser un relevé horodaté des éléments utiles aux spécialistes chargés du film. Dans la documentation de son API, OpenAI indique que Terra peut comparer les photographies d'un produit aux références d'un catalogue. Le modèle peut aussi agir sur les écrans d'une application. L'intérêt vient de la possibilité de combiner la lecture d'une image avec des opérations informatiques.
Il ne s'agit toutefois pas d'une IA capable d'observer directement une pièce ou de piloter un robot. GPT-6.1 Terra accepte des images en entrée, mais son API ne prend directement en charge ni les vidéos ni l'audio. Pour examiner un film, l'agent doit donc utiliser des outils qui lui donnent accès aux images de la séquence. OpenAI vante sa capacité à agir dans des logiciels, mais ces opérations supposent des accès autorisés. Le mois dernier, des agents d'OpenAI ont transmis des photographies privées vers des services tiers, rappelant la nécessité de surveiller les données confiées aux agents.
OpenAI promet des tâches plus rapides et moins coûteuses
Pour mesurer les capacités de Terra, OpenAI a utilisé Agents' Last Exam, un ensemble de travaux professionnels à réaliser sur ordinateur. Au niveau de raisonnement moyen, GPT-6.1 Terra obtient 15 points de pourcentage de plus que GPT-5.6 Terra, pour un coût par tâche environ trois fois inférieur. Il termine également les exercices plus de trois fois plus vite que GPT-6 Astra et GPT-6.1 Sol, selon les mesures du laboratoire. Sur MMMU-Pro, consacré au raisonnement visuel, le nouveau modèle dépasse son prédécesseur à tous les niveaux de raisonnement testés.
Cette rapidité explique la place donnée à Terra dans la gamme d'OpenAI. Avec Sol, l'entreprise avait insisté sur les travaux complexes de programmation et de raisonnement. Terra privilégie les opérations plus fréquentes sur écran. Les développeurs paieront environ 0,90 euro par million de tokens d'entrée et 4,50 euros par million de tokens de sortie dans l'API, soit la moitié du tarif standard de Sol. Les appels à certains outils peuvent toutefois entraîner des frais supplémentaires.
OpenAI affirme également avoir réduit les réponses factuellement fausses. Lors d'un test interne conçu pour provoquer des erreurs, leur proportion est passée de 53,6 % avec GPT-5.6 Terra à 16,7 % avec GPT-6.1 Terra, au niveau de raisonnement faible. Ces résultats proviennent des seules évaluations de l'entreprise. Ils ne donnent pas le taux d'erreur lors de la lecture d'un véritable plan d'architecture ou d'un film abîmé.
GPT-6.1 Terra est accessible dans ChatGPT Work et Codex pour les abonnés Plus, Pro, Enterprise et Edu, sous réserve des quotas de leur offre. Les développeurs disposent également de l'API, où ils devront définir les outils et les autorisations accordés à l'agent.
