Le nouveau modèle IA d'Anthropic, Claude 4 Opus, est développé de façon à être plus sûr. Jusqu'à pouvoir théoriquement atteindre certaines limites inquiétantes !
Il y a quelques jours, la start-up américaine Anthropic lançait ses tout derniers modèles de langage Claude Opus 4 et Claude Sonnet 4. Des intelligences artificielles qui montrent des performances de haut niveau, notamment pour ce qui est de coder. Mais en cherchant dans le même temps à sécuriser le plus possible, Anthropic a peut-être poussé le bouchon un peu trop loin.
Claude 4 Opus pourrait alerter les autorités si l'utilisateur voulait l'utiliser pour le crime
Le responsable de la sûreté des IA chez Anthropic, Sam Bowman, a mis le feu aux poudres ces derniers jours sur X. Il y a en effet indiqué dans plusieurs messages que des demandes franchement immorales pouvaient entraîner un appel automatique aux autorités.
« Avec ce genre de style d'incitation (inhabituel mais pas super exotique) et un accès illimité aux outils, si le modèle vous voit faire quelque chose de *gravement mauvais* comme commercialiser un médicament basé sur des données falsifiées, il essaiera d'utiliser un outil de courrier électronique pour le dénoncer » a-t-il notamment expliqué.
Anthropic rétropédale devant le tollé
Évidemment, ce genre d'annonce n'as pas eu tendance à plaire aux internautes, certains indiquant qu'un modèle qui pouvait – même s'il s'agissait d'une possibilité faible – contacter les autorités pour les discussions menées avec le chatbot ne valait pas la peine d'être utilisé. De quoi obliger Sam Bowman à rétropédaler.
Il a ainsi préféré supprimer plusieurs de ses messages allant en ce sens, exprimant une crainte que ses propos ne soient mal interprétés. À la place, il a posté un nouveau message pour calmer la grogne. La fonctionnalité n'est ainsi « n'est pas possible dans le cadre d'une utilisation normale. Elle apparaît dans les environnements de test où nous lui donnons un accès exceptionnellement libre aux outils et des instructions très inhabituelles » a nuancé Sam Bowman.
Mais si l'on est encore loin d'une connexion directe entre les IA et la police, cette possibilité créée pour améliorer la sécurité des IA n'est-elle pas une première étape malheureuse vers un futur dans lequel l'utilisation des modèles IA serait fliquée ?
Source : Wccftech
- Upload de fichiers pouvant aller jusqu'à 100 000 tokens (75 000 mots environ)
- Personnalisation avancée
- Conception éthique
