Microsoft veut donner davantage d’autonomie à Copilot sur Windows 11. Grâce à une nouvelle architecture mêlant IA locale et cloud, l’assistant pourra s’appuyer sur des modèles installés sur votre PC pour traiter certaines requêtes, sans solliciter systématiquement des serveurs distants.

Microsoft mise sur l'intelligence hybride pour rendre Copilot moins dépendant du cloud. © Microsoft
Microsoft mise sur l'intelligence hybride pour rendre Copilot moins dépendant du cloud. © Microsoft
Copilot sait déjà rechercher des fichiers, consulter leur contenu et même effectuer certaines opérations sur Windows 11. Ces capacités dépendent toutefois encore largement de modèles distants pour comprendre les requêtes et déterminer les actions à effectuer. Lors de sa conférence du 7 octobre, l’entreprise a présenté sa stratégie d’« intelligence hybride », destinée à faire travailler ensemble les modèles d’IA exécutés sur l’ordinateur et ceux hébergés dans le cloud. Une évolution dont l'assistant de Redmond sera l’un des premiers bénéficiaires, dans le prolongement de sa récente refonte autour de Home, Code et Autopilot.

Copilot exploitera davantage le contexte local de Windows

Microsoft veut d’abord élargir le champ des informations sur lesquelles Copilot peut s’appuyer pour accomplir une tâche. Avec Local Context, et sous réserve d’autorisation, l’assistant pourra désormais tenir compte plus largement des fichiers présents sur l’ordinateur, mais aussi de l’activité récente de l’utilisateur, pour identifier les documents pertinents et en exploiter le contenu, sans avoir à les lui transmettre un par un.

Cette meilleure connaissance du contexte doit aussi guider les interventions de Copilot sur Windows. Microsoft expérimente déjà, avec Copilot Actions, l’organisation et le renommage de fichiers dans un environnement isolé. Avec Local Actions, l’entreprise veut aussi lui permettre d’analyser les diagnostics du PC, de contribuer au dépannage ou d’exécuter du code. L’assistant pourra ainsi enchaîner plusieurs opérations en exploitant les informations disponibles localement.

Microsoft en a donné un aperçu lors d’une démonstration préenregistrée consacrée à la préparation d’un dossier fiscal. À partir d’une demande en langage naturel, Autopilot a retrouvé plusieurs documents dispersés dans les dossiers Téléchargements et Documents, les a renommés, réunis dans une archive ZIP, puis a préparé un mail destiné au comptable, avec l'archive en pièce jointe. L'envoi n'a été effectué qu'après validation de l'utilisateur. Selon Redmond, le classement et le renommage des documents ont été réalisés par des modèles locaux, sans transmettre les informations fiscales aux modèles hébergés dans le cloud.

Une IA locale ou distante selon les besoins

Jusqu’ici, un agent pouvait effectuer des opérations sur l’ordinateur sans que les traitements d’intelligence artificielle nécessaires à leur réalisation s’exécutent eux aussi localement. Avec Local Models, troisième volet de sa stratégie d’intelligence hybride, Microsoft veut réduire cette dépendance aux modèles distants. Copilot pourra ainsi solliciter des modèles installés directement sur le PC et les combiner à ceux hébergés dans le cloud, selon la nature des tâches et les ressources requises.

Pour l’utilisateur, cette approche pourrait réduire les transferts de données vers les serveurs de Microsoft, sans toutefois garantir que toutes les opérations resteront confinées à l’appareil. Elle présente également un intérêt économique, en particulier pour les professionnels utilisant des services d’IA facturés à l’usage, puisque les traitements réalisés localement pourraient limiter le nombre de tokens facturés dans le cloud.

Cette stratégie doit par là même profiter à GitHub Copilot, dont le système d’orchestration HydraFusion, qui sélectionne déjà les modèles hébergés dans le cloud selon les tâches à accomplir, pourra désormais solliciter ceux installés sur le PC. Une première expérimentation est prévue fin octobre dans l’application GitHub Copilot, son interface en ligne de commande et Visual Studio Code.

Faire travailler des agents capables de manipuler des fichiers ou d’exécuter du code suppose aussi de contrôler les ressources auxquelles ils ont accès. Microsoft annonce ainsi la disponibilité générale des Microsoft Execution Containers (MXC) sur Windows 11. Ces environnements isolés permettent de définir les fichiers et les ressources réseau auxquels chaque agent peut accéder, puis de faire respecter ces restrictions pendant son exécution. Microsoft prévoit par ailleurs d'étendre l'identification et la supervision des agents avec Microsoft Entra et Agent 365, tandis qu'Intune permettra aux entreprises d'appliquer leurs politiques de sécurité aux conteneurs.

Les premières fonctionnalités de Copilot fondées sur l’intelligence hybride doivent commencer à arriver dans les prochains mois sur les PC Copilot+. Microsoft n’a pas encore communiqué de calendrier détaillé et précise que leur disponibilité variera selon les appareils, les plateformes matérielles et les marchés concernés.

Microsoft Copilot
  • Intégration de DALL-E 3 pour une création d'images plus créatives et réalistes
  • Capacité de traitement des images par GPT-4 Vision pour des réponses contextuelles précises
  • Interface conviviale et intégrée dans divers produits Microsoft