Un modèle de la famille Qwen a tenté de transmettre des informations à un serveur chinois pendant un test de cybersécurité. L’opération a été bloquée, mais elle soulève des questions sur la fiabilité des agents IA, notamment lorsqu’ils manipulent des données confidentielles.
Une intelligence artificielle qui prend l’initiative d’envoyer des données vers la Chine, sans qu’on lui ait rien demandé. Voilà la découverte plutôt inquiétante que vient de faire Cohere, une entreprise canadienne qui développe des modèles et des outils d’IA pour les entreprises. Dans un rapport publié le 26 octobre, l’entreprise explique avoir surpris Qwen3.8-Flash-Next en train de tenter une connexion vers un serveur d’Alibaba Cloud situé à Pékin.
L'incident s’est produit dans un environnement de test sécurisé. Aucune information sensible n’a été dérobée, mais le comportement du modèle interroge sur les risques auxquels s’exposent les entreprises qui confient des tâches à des agents IA.
Une commande que l’IA n’aurait jamais dû exécuter
Qwen devait accomplir une tâche assez banale pour un assistant spécialisé dans la cybersécurité, à savoir rédiger une règle permettant de détecter certains téléchargements malveillants. Mais au lieu de se limiter à cette consigne, le modèle a commencé par inspecter son environnement informatique. Il a examiné les fichiers temporaires, vérifié les outils disponibles et consulté la configuration réseau, avant de lancer une commande curl pour tenter d’envoyer une chaîne de test vers un espace de stockage Alibaba Cloud.
Le plus étonnant est que son propre raisonnement indiquait qu’il n’utiliserait aucun outil. Heureusement, l’environnement isolé de l’entreprise interdisait les connexions sortantes. La tentative a donc échoué. Et l’incident semble exceptionnel puisqu’il s’est produit moins d’une fois sur 100 000 appels dans les évaluations de Cohere. Une nouvelle exécution de la même consigne a d’ailleurs donné le résultat attendu.
L'entreprise canadienne reconnaît ignorer l’origine de ce comportement. Il pourrait notamment provenir de données ou de commandes mémorisées pendant l’entraînement. Rien ne permet donc de conclure à une porte dérobée volontairement intégrée par Alibaba. Une réserve d’autant plus importante que Cohere commercialise elle-même des modèles concurrents.
Pourquoi les modèles Qwen séduisent autant
Développée par Alibaba, Qwen est devenue l’une des familles de modèles d’intelligence artificielle les plus populaires auprès des développeurs. Capables de rédiger du texte, de programmer ou d’analyser des images selon les versions, ces modèles présentent un avantage de taille. Beaucoup sont distribués avec leurs poids accessibles, ce qui permet aux entreprises de les télécharger, de les personnaliser et de les exécuter sur leurs propres infrastructures.
Certaines versions utilisent également une architecture à mélange d’experts (MoE), qui ne mobilise qu’une partie des paramètres pour chaque requête. De quoi réduire la puissance de calcul nécessaire et, potentiellement, la facture. Cette souplesse explique en partie leur popularité. Mais héberger une IA sur ses propres serveurs ne garantit pas qu’elle y conservera les informations auxquelles elle accède.
Une IA locale peut aussi laisser sortir vos données
Le véritable danger apparaît lorsqu’un modèle n’est plus seulement utilisé pour discuter, mais dispose d’outils lui permettant d’ouvrir des fichiers, d’exécuter des commandes ou d’accéder à Internet. Dans une entreprise, un agent trop largement autorisé pourrait ainsi transmettre du code source, des documents confidentiels ou des identifiants à un serveur extérieur. Une erreur du modèle ou une manipulation extérieure peut suffire à provoquer une fuite de données.
Les spécialistes recommandent donc de limiter strictement les permissions accordées aux agents, de bloquer les connexions sortantes non indispensables et de surveiller les commandes réellement exécutées. Les transferts sensibles devraient également nécessiter une validation humaine. Pour les particuliers, la prudence reste aussi de mise lorsqu’il s’agit de confier des documents personnels à une IA, même installée localement. Un utilisateur averti en vaut deux.
Source : Cohere via The Register
Un agent IA est un modèle relié à des outils (accès fichiers, exécution de commandes, navigateur, API internes) et capable d’enchaîner des actions pour atteindre un objectif. Contrairement à un chatbot qui se limite à produire du texte, un agent peut interagir avec le système et déclencher des opérations ayant des effets réels. Le risque principal vient du décalage entre l’intention (la consigne) et l’exécution (les actions réellement prises), surtout si l’agent dispose de droits étendus. Dans un SI d’entreprise, cela peut conduire à lire des données sensibles ou à initier des échanges réseau sans validation explicite. D’où l’importance de contrôler finement les permissions et d’auditer les actions effectuées, pas seulement la réponse finale.
curl est un outil en ligne de commande qui permet d’envoyer ou de récupérer des données via des protocoles comme HTTP(S). Dans un contexte d’agent IA, c’est un moyen simple de réaliser une exfiltration : transférer du contenu (fichiers, clés, extraits de logs) vers un serveur externe en une seule commande. Même une chaîne de test est préoccupante, car elle prouve la capacité et l’intention d’établir une communication sortante. La détection de ce type d’appel fait partie des contrôles classiques, au même titre que la surveillance des requêtes DNS ou des connexions vers des domaines non approuvés. Bloquer ou restreindre l’exécution de commandes réseau côté environnement d’exécution réduit fortement la surface de fuite.
Un modèle MoE (Mixture of Experts) est organisé en plusieurs sous-réseaux spécialisés appelés experts, et un mécanisme de routage choisit lesquels activer selon la requête. L’intérêt est d’augmenter la capacité globale (beaucoup de paramètres) tout en limitant le coût à l’inférence, car seuls quelques experts sont utilisés à chaque appel. Cela peut réduire la consommation de calcul et la latence par rapport à un modèle dense de taille équivalente. En contrepartie, l’architecture ajoute de la complexité : le routage peut introduire des comportements variables selon les entrées, et le diagnostic des réponses (ou des dérives) peut être plus difficile. MoE n’explique pas à lui seul un comportement réseau inattendu, mais il fait partie des choix techniques qui influencent la reproductibilité et l’analyse des incidents.
