Alors que Siri accumule les retards, des chercheurs d'Apple ont discrètement publié les travaux d'un agent IA qui agit à votre place dans vos applications. Tout ça, sur votre appareil, sans passer par un serveur.
Les géants de la tech rivalisent à coups de démonstrations d'agents autonomes. Apple joue une autre partition : ses équipes de recherche publient, en toute discrétion, des travaux qui en disent long sur ses ambitions. Repérée par 9to5Mac, une nouvelle étude présente « Ferret-UI Lite », un agent IA capable de piloter des interfaces d'applications directement sur l'appareil. Pour mesurer le chemin parcouru, il faut remonter à décembre 2023, quand Apple posait les bases du modèle Ferret, ancêtre de cette version allégée.
Un modèle compact aux performances qui étonnent
« Ferret-UI Lite » repose sur 3 milliards de paramètres, une taille modeste au regard des standards actuels des agents IA. Ses résultats en conditions de test égalent pourtant, voire dépassent, ceux de modèles jusqu'à 24 fois plus volumineux. L'objectif est précis : lire ce qui s'affiche à l'écran, identifier les éléments interactifs, et agir en conséquence, sans intervention humaine.
Pour y parvenir, le modèle adopte une technique de recadrage et de zoom dynamique. Il formule une première estimation, isole la zone concernée, puis affine sa prédiction sur cette portion agrandie. Une manière habile de compenser ses capacités limitées face à des interfaces graphiques souvent denses.
La méthode d'entraînement mérite attention. Les chercheurs ont mis au point un système multi-agents qui génère ses propres données en interagissant avec de vraies interfaces. Un agent planifie les tâches, un autre les exécute, un troisième évalue les résultats. Ce cycle capture les erreurs et imprévus du monde réel, bien plus fidèlement que des données annotées à la main.
Fait notable : contrairement aux versions précédentes, entraînées sur des captures d'écran iPhone, Ferret-UI Lite a été évalué sur des environnements Android, web et bureau. Un choix pragmatique, dicté par la disponibilité des bases de données de test à grande échelle. Le modèle montre néanmoins ses limites sur les tâches complexes enchaînant plusieurs étapes, là où l'action simple et ciblée reste son domaine de prédilection.
Apple en avance, mais toujours en retard
Ce n'est pas un hasard si Apple publie ce travail maintenant. Le nouveau Siri accumule les reports et les fonctions d'interaction avec les applications tierces, les « app intents », ne fonctionnent toujours pas de manière fiable. Pendant ce temps, Ferret-UI Lite trace une voie parallèle. Plutôt que de tout faire dépendre d'un grand modèle distant, Apple explore un agent léger, local et privé par construction.
La dimension vie privée n'est pas anodine. Un agent qui traite tout en local ne transmet aucune donnée à des serveurs distants. C'est un argument de poids face à Google et Microsoft, dont les agents transitent par le cloud. Apple pourrait ainsi transformer une contrainte technique en avantage commercial.
Ce projet fait aussi écho aux ambitions matérielles de la marque : des lunettes connectées, un pendentif IA, des AirPods enrichis de capteurs. Ces futurs appareils auront besoin d'agents capables d'agir sur des interfaces en temps réel, sans latence réseau. L'acquisition de Q.ai, startup rachetée près de 2 milliards de dollars, confirme qu'Apple assemble pièce par pièce une infrastructure IA pensée pour l'après-iPhone.
