Avant Recall, Microsoft échouait avec Timeline : comment l'idée de la mémoire artificielle a survécu

Annoncée en fanfare lors de son évènement Surface au début de la semaine, Recall est le fer de lance de la révolution IA made-in Microsoft. Depuis sa démo initiale, Microsoft a pu nous en dire plus sur son fonctionnement, notamment par le biais d'une FAQ assez fournie, réponse semi-formelle aux inquiétudes que la technologie a suscitées concernant la confidentialité des utilisateurs de Windows.

L'intégration des technologies d'intelligence artificielle dans les systèmes d'exploitation devient de plus en plus courante, et Microsoft n'est pas en reste avec sa nouvelle fonctionnalité Recall, intégrée à Windows 11 et capable de tourner localement grâce à de nouvelles générations de PC Copilot + équipés de NPU. Et si on vous disait que cette innovation n'est en fait qu'une évolution, que celle-ci trouve son origine dans Microsoft et que le Mac possède une fonctionnalité similaire depuis plus d'un an ?

Do you Recall, not long ago…

Timeline, ça vous dit quelque chose ? Lancée avec Windows 10 en 2018, la fonctionnalité visait à offrir aux utilisateurs une manière simple de revoir et reprendre leurs activités récentes, que ce soit sur le même appareil ou sur plusieurs appareils synchronisés via le cloud. Elle permettait de retrouver rapidement des documents, des sites web et d'autres activités, facilitant ainsi une continuité de travail. Cependant, malgré ses promesses initiales, Timeline n'a pas réussi à s'imposer comme un outil incontournable, en partie à cause de sa dépendance à Cortana et de problèmes de synchronisation.

Déjà à l'époque, les questions de sécurité et de vie privée que soulève aujourd'hui l'annonce de Recall étaient abordées, même si ce n'était pas dans les mêmes mesures. Précisons tout de même qu'à cette époque, Microsoft offrait l'option de stocker les historiques d'activité dans le cloud pour assurer la synchronisation entre appareils, ce qui n'a alarmé que très peu de médias à l'époque.

Microsoft a décidé de retirer Timeline de Windows 10 en 2021, citant un manque d'adoption et des défis techniques liés à la synchronisation multi-appareils. Cette décision a marqué la fin d'une fonctionnalité qui, bien que prometteuse, n'a pas su répondre aux attentes des utilisateurs et aux exigences techniques de l'époque.

Petit rappel sur Recall

Recall prend des captures instantanées de votre écran toutes les 5 secondes, capturant ainsi les documents, images, emails, et autres contenus affichés. Ces instantanés sont stockés localement sur votre appareil, garantissant que vos données restent privées et sécurisées. Grâce à Windows Semantic Index, que Microsoft a introduit avec sa version 365 de Copilot, Recall offre une recherche sémantique avancée, permettant aux utilisateurs de retrouver rapidement des informations en utilisant des requêtes en langage naturel. Par exemple, vous pouvez rechercher des termes spécifiques ou des moments particuliers, et Recall affichera des instantanés pertinents correspondant à votre recherche.

Vous pouvez configurer l'allocation de stockage pour les instantanés, avec des options allant de 25 Go à 150 Go en fonction de la capacité de votre appareil. Lorsque la limite de stockage est atteinte, les instantanés les plus anciens sont supprimés pour faire place aux nouveaux. Cela assure une gestion efficace de l'espace disque tout en préservant un historique utile. Les utilisateurs ont la possibilité de filtrer les applications et les sites web pour exclure certains contenus des captures d'écran. De plus, les données sont chiffrées avec BitLocker, ajoutant une couche supplémentaire de sécurité. Vous pouvez également supprimer des instantanés spécifiques ou tous les instantanés dans une période définie, offrant ainsi un contrôle complet sur vos données. Un petit widget accessible dans la barre des tâches permet de visualiser les dernières captures. Enfin, il est bien-sûr possible de désactiver totalement Recall ou de le mettre en pause jusqu'à la fin de la journée directement depuis le widget.

Quid du Mac ?

L'application Rewind AI, disponible depuis fin 2022 et financée en partie par le P.D.-G. d'OpenAI, permet de rechercher des informations en remontant le temps grâce à des captures d'écran et à la reconnaissance de caractères. Exclusivement disponible sur Mac, Rewind enregistre continuellement l'écran et utilise l'OCR pour indexer le contenu affiché. Cette fonctionnalité rappelle Microsoft Recall, bien qu'orientée davantage vers une indexation visuelle, et sans les modèles d'IA sous-jacents. Tout en fonctionnant en local (c'est principalement l'OCR qui nécessite une puissance de calcul importante), Rewind s'appuie sur la famille de modèles GPT pour certaines tâches, comme le résumé d'une transcription de meeting, bien que rien ne se fasse sans que vous ne le demandiez expressément.

OpenAI a récemment lancé une application ChatGPT pour macOS, promettant une expérience utilisateur améliorée par rapport à la version web. Cette application de bureau, conçue pour fonctionner de manière fluide avec d'autres programmes, permet aux utilisateurs d'interagir avec ChatGPT via des commandes textuelles ou vocales. L'application offrira bientôt des réponses basées sur l'analyse visuelle du contenu de l'écran en le capturant en temps réel. Les utilisateurs peuvent activer ChatGPT facilement en utilisant le raccourci clavier Option + Espace. Rewind a montré qu'un Recall à la sauce Mac était techniquement possible, il n'est alors pas difficile d'imaginer une fonctionnalité exclusive à ChatGPT Plus qui ferait la même chose à terme. À moins que…

… Les rumeurs courent depuis des mois : Apple développe des modèles d'IA on-device pour iOS, qui pourraient également fonctionner sur macOS. Cette initiative indique clairement la direction que prend Apple : offrir des fonctionnalités d'IA puissantes et sécurisées, similaires à celles de Microsoft Recall, mais intégrées de manière native dans l'écosystème Apple. Avec un neural engine dédié depuis le passage à ses propres SoC, le hardware est là pour soutenir une telle charge de calcul. La WWDC pointe bientôt le bout de son nez, et bien que tous les regards soient tournés vers iOS 18, la prochaine version de macOS pourrait bien nous surprendre et couper l'herbe sous le pied d'OpenAI, d'autant que la puce M4 récemment dévoilée a mis les bouchées doubles sur son NPU.