Microsoft veut donner davantage d’autonomie à Copilot sur Windows 11. Grâce à une nouvelle architecture mêlant IA locale et cloud, l’assistant pourra s’appuyer sur des modèles installés sur votre PC pour traiter certaines requêtes, sans solliciter systématiquement des serveurs distants.

Copilot exploitera davantage le contexte local de Windows
Microsoft veut d’abord élargir le champ des informations sur lesquelles Copilot peut s’appuyer pour accomplir une tâche. Avec Local Context, et sous réserve d’autorisation, l’assistant pourra désormais tenir compte plus largement des fichiers présents sur l’ordinateur, mais aussi de l’activité récente de l’utilisateur, pour identifier les documents pertinents et en exploiter le contenu, sans avoir à les lui transmettre un par un.
Cette meilleure connaissance du contexte doit aussi guider les interventions de Copilot sur Windows. Microsoft expérimente déjà, avec Copilot Actions, l’organisation et le renommage de fichiers dans un environnement isolé. Avec Local Actions, l’entreprise veut aussi lui permettre d’analyser les diagnostics du PC, de contribuer au dépannage ou d’exécuter du code. L’assistant pourra ainsi enchaîner plusieurs opérations en exploitant les informations disponibles localement.
Une IA locale ou distante selon les besoins
Jusqu’ici, un agent pouvait effectuer des opérations sur l’ordinateur sans que les traitements d’intelligence artificielle nécessaires à leur réalisation s’exécutent eux aussi localement. Avec Local Models, troisième volet de sa stratégie d’intelligence hybride, Microsoft veut réduire cette dépendance aux modèles distants. Copilot pourra ainsi solliciter des modèles installés directement sur le PC et les combiner à ceux hébergés dans le cloud, selon la nature des tâches et les ressources requises.
Pour l’utilisateur, cette approche pourrait réduire les transferts de données vers les serveurs de Microsoft, sans toutefois garantir que toutes les opérations resteront confinées à l’appareil. Elle présente également un intérêt économique, en particulier pour les professionnels utilisant des services d’IA facturés à l’usage, puisque les traitements réalisés localement pourraient limiter le nombre de tokens facturés dans le cloud.
Cette stratégie doit par là même profiter à GitHub Copilot, dont le système d’orchestration HydraFusion, qui sélectionne déjà les modèles hébergés dans le cloud selon les tâches à accomplir, pourra désormais solliciter ceux installés sur le PC. Une première expérimentation est prévue fin octobre dans l’application GitHub Copilot, son interface en ligne de commande et Visual Studio Code.
Faire travailler des agents capables de manipuler des fichiers ou d’exécuter du code suppose aussi de contrôler les ressources auxquelles ils ont accès. Microsoft annonce ainsi la disponibilité générale des Microsoft Execution Containers (MXC) sur Windows 11. Ces environnements isolés permettent de définir les fichiers et les ressources réseau auxquels chaque agent peut accéder, puis de faire respecter ces restrictions pendant son exécution. Microsoft prévoit par ailleurs d'étendre l'identification et la supervision des agents avec Microsoft Entra et Agent 365, tandis qu'Intune permettra aux entreprises d'appliquer leurs politiques de sécurité aux conteneurs.
Les premières fonctionnalités de Copilot fondées sur l’intelligence hybride doivent commencer à arriver dans les prochains mois sur les PC Copilot+. Microsoft n’a pas encore communiqué de calendrier détaillé et précise que leur disponibilité variera selon les appareils, les plateformes matérielles et les marchés concernés.

- Intégration de DALL-E 3 pour une création d'images plus créatives et réalistes
- Capacité de traitement des images par GPT-4 Vision pour des réponses contextuelles précises
- Interface conviviale et intégrée dans divers produits Microsoft