La bataille de l'intelligence artificielle (IA) se joue aussi sur le terrain des acquisitions. Et OpenAI vient de signer un très grand coup en mettant la main sur Promptfoo. Son nom est peut-être méconnu mais son impact, lui, est déjà immense.
L'heure est à l'IA agentique, ces systèmes autonomes capables de prendre des décisions et d'exécuter des tâches complexes sans intervention humaine. OpenAI s'est officiellement lancée dans la course il y a un moins à peine avec Frontier, une plateforme dédiée à la création et la gestion d'agents IA pour les entreprises.
Mais si cette technologie est effectivement puissante, elle est aussi très dangereuse sur le plan de la cybersécurité. Et c'est justement pour contrer ce problème qu'OpenAI rachète Promptfoo.
Spécialiste du red teaming
Fondée il y a deux ans à San Francisco, cette start-up est, vous l'aurez compris, spécialisée dans la sécurité des systèmes d'IA. Son principe : tester les vulnérabilités des modèles avant qu'ils ne soient déployés en simulant des attaques réelles. Cette technique, appelée red teaming, consiste à jouer le rôle d'un attaquant pour identifier les failles. Et plutôt que de recourir à des tests manuels, la plateforme automatise entièrement ce processus.
Il n'y a qu'à s'intéresser à la liste de clients de Promptfoo pour mesurer son attrait. Revendiquant plus de 125 000 développeurs utilisateurs, la jeune pousse est déjà exploitée par plus de 30 entreprises du Fortune 500, dans des secteurs aussi variés que la finance, la distribution ou les télécommunications. Elle compte, en outre, des cadors de la Silicon Valley dans ses investisseurs.
« À mesure que les entreprises déploient des assistants IA dans leurs processus de travail réels, l'évaluation, la sécurité et la conformité deviennent des exigences fondamentales. Les entreprises ont besoin de méthodes systématiques pour tester le comportement des agents, détecter les risques avant le déploiement et conserver des enregistrements clairs afin de faciliter la supervision, la gouvernance et la responsabilisation au fil du temps », étaye OpenAI dans un billet de blog.
- Chat dans différentes langues, dont le français
- Générer, traduire et obtenir un résumé de texte
- Générer, optimiser et corriger du code
Un agent IA incontrôlé serait catastrophique pour une entreprise
Puisque les agents IA opérant avec un niveau d'autonomie inédit, en accédant aux bases de données sensibles et flux de travail, ils représentent une portee d'entrée rêvée pour des attaques. Ainsi, un système mal sécurisé peut se faire manipuler via une simple instruction malveillante afin de révéler des informations confidentielles, exécuter des actions non autorisées, voire compromettre l'ensemble d'un système d'information. C'est ce qu'on appelle la prompt injection.
Pour une entreprise, un agent IA incontrôlé représente un risque juridique, financier et réputationnel majeur. D'ailleurs, Anthropic, grande rivale d'OpenAI, a lancé fin février Claude Code Security, un outil qui scanne les bases de code à la recherche de failles de sécurité et propose des correctifs ciblés. De quoi permettre aux équipes de détecter et corriger des problèmes que les méthodes traditionnelles manquent souvent. En intégrant la technologie de Promptfoo, la société de Sam Altman entend garantir à ses clients un très haut niveau de sécurité, et potentiellement se démarquer de la concurrence sur ce point.
À noter que Promptfoo est un outil open source utilisé par Google et Anthropic. La firme de Sam Altma, assure qu'elle gardera ce statut et continuera de collaborer avec des clients externes. Du moins, pour le moment.
Sources : OpenAI, The Next Web
