Anthropic a dévoilé ce lundi Claude Sonnet 5.5, son nouveau modèle d'IA intermédiaire. Plus rapide et moins gourmand que Sonnet 5 pour un tarif inchangé, il se rapproche d'Opus 5.5 sur plusieurs tests, et arrive avec des protections renforcées.
L'entreprise Anthropic a présenté ce lundi 28 septembre Claude Sonnet 5.5, deuxième membre de la famille Claude 5.5 après Opus 5.5. Le nouveau modèle d'IA affiche des progrès marqués en programmation et en travail de bureau, tout en répondant plus vite et en réduisant le coût de chaque tâche. Il serait au moins 30 % plus rapide que Sonnet 5, et jusqu'à 30 % moins cher par tâche selon la firme californienne. Mais ce gain de puissance a aussi poussé l'entreprise à lui poser des garde-fous jusqu'ici réservés à ses modèles les plus costauds.
Claude Sonnet 5.5 code mieux, va plus vite et coûte moins cher
C'est en programmation, autrement dit dans l'écriture et la correction de code informatique, que Sonnet 5.5 creuse le plus l'écart avec son prédécesseur. Sur Terminal-Bench 4.0, un test où l'IA doit mener seule des tâches complexes dans la ligne de commande, cette fenêtre de texte où les développeurs tapent leurs instructions à l'ordinateur, Sonnet 5.5 atteint 70,6 % de réussite, contre un maigre 10,3 % pour Sonnet 5. Il dépasse même les 66,4 % d'Opus 5.5, le haut de gamme maison. Sur FrontierCode, qui juge si ses modifications de code pourraient être intégrées à un projet sans la moindre retouche humaine, il gagne dix points sur son prédécesseur à niveau de réflexion identique, tout en coûtant environ quinze fois moins cher par tâche. Chez Epic Games, il a jonglé avec des dizaines de milliers de lignes de code dédiées à l'architecture d'un jeu, et tenu la distance sur des tâches de plusieurs heures.
Concernant les tarifs, Anthropic ne touche à rien. Sur sa plateforme pour développeurs, Sonnet 5.5 coûte toujours 2 dollars par million de tokens envoyés au modèle (la question, les documents fournis) et 10 dollars par million de tokens qu'il rédige en réponse. Ces tokens, qui sont de petits morceaux de mots, servent d'unité de facturation, on le rappelle. Sonnet 5.5 est assez sobre, puisqu'il en consomme généralement bien moins pour le même travail, d'où une note jusqu'à 30 % plus légère par tâche, selon Anthropic. Il s'organise aussi mieux, en regroupant plus souvent plusieurs actions en une seule fois, ce qui lui permet de boucler le travail en moins d'étapes. Du côté de Slack, sans retoucher une seule consigne, il a fait mieux que Sonnet 5 sur la quasi-totalité des tests de l'assistant maison, en rédigeant environ 14 % de tokens en moins.
Sonnet 5.5 gagne aussi en nervosité, peut-on dire, dans le sens où le modèle écrit ses réponses au moins 30 % plus vite que Sonnet 5, ce qui en fait le Sonnet le plus rapide à ce jour. Dans les applications Claude, il fonctionne par défaut avec un niveau d'effort « moyen », un réglage ajustable qui privilégie soit des réponses rapides et économes, soit une réflexion plus longue et mieux vérifiée, qui consomme davantage sur son forfait. Il soigne aussi la présentation. Lors d'un test interne par exemple, Anthropic lui a confié les résultats trimestriels d'une entreprise cotée en Bourse, la transcription de sa conférence avec les investisseurs et un modèle de diaporama. Deux experts ont jugé son premier jet de dix diapositives prêt à être envoyé tel quel. Et, détail intéressant, c'est le premier Sonnet à terminer Pokémon version Rouge, le classique de la Game Boy, en se guidant uniquement grâce à des captures d'écran.
Presque un Opus 5.5, les garde-fous en prime
Faut-il pour autant délaisser Opus 5.5, le modèle le plus puissant de la famille ? On en doute. Sur GDPval-AA, un test qui soumet l'IA à des tâches concrètes issues de 44 métiers et de neuf grands secteurs d'activité, Sonnet 5.5 fait quasiment jeu égal avec lui, et devance Sonnet 5 d'environ 400 points au classement. Anthropic tempère et nous montre que pour les travaux complexes aux contours flous, qui demandent de faire preuve de jugement sur la durée, Opus 5.5 garde une nette avance. Mais Sonnet 5.5 est facturé deux fois moins cher, aussi bien pour les textes qu'on lui envoie que pour ceux qu'il rédige. Chez Zendesk, autre utilisateur de Claude et spécialiste du service client, il a été testé sur des centaines de vraies demandes d'assistance. On apprend qu'il a pris moins de mauvaises décisions et traité les dossiers 20 % plus vite que les modèles Claude que l'entreprise utilise aujourd'hui.
Mais, et c'est depuis un moment un sujet sensible, les performances d'un modèle peuvent s'avérer piégeuses, pour ne pas dire bloquantes. Sonnet 5.5 est devenu si doué en cybersécurité qu'il rivalise avec Opus 5, le haut de gamme de la génération précédente, et ses capacités pourraient aussi servir à des cybercriminels. On a donc ici le premier Sonnet à embarquer des protections dédiées. Les développeurs peuvent toujours lui demander de repérer et de corriger les bugs de leur code bien entendu, mais les demandes jugées risquées sont confiées, de façon visible, à Sonnet 5, bien moins compétent sur ces sujets.
En biologie, les filtres restent ceux de Sonnet 5 : ils visent les requêtes dangereuses et laissent passer l'essentiel de la recherche, de l'enseignement et du travail médical, au risque de signaler à tort quelques questions de virologie ou de microbiologie. Enfin, Anthropic a soumis le modèle à environ 1 850 scénarios de test automatisés, pour vérifier notamment qu'il ne trompe pas l'utilisateur et n'agit pas contre ses intérêts. Résultat, il n'y aucun signe qu'il poursuive des objectifs contraires aux siens.
Autre nouveauté, un bouclier contre la « distillation ». Le principe consiste à créer des milliers de faux comptes pour interroger massivement un modèle, récolter ses réponses et s'en servir pour entraîner une IA concurrente très capable, mais privée des garde-fous d'origine. Sonnet 5.5 est le premier Sonnet équipé de filtres automatiques qui empêchent d'aspirer son raisonnement, c'est-à-dire les étapes de réflexion qu'il suit avant de répondre. Ce raisonnement reste en outre lié au compte qui l'a généré et ne peut pas être réutilisé depuis un autre, un changement que la plupart des développeurs ne remarqueront pas. Notez que Sonnet 5.5 est déjà disponible dans les applications Claude et sur les plateformes cloud d'Amazon, Google et Microsoft, très utilisées par les entreprises. Place maintenant au petit dernier, Claude Haiku 5.5, qui pensé pour traiter de gros volumes à moindre coût, sera le prochain à rejoindre la famille dans les prochaines semaines.
