NVIDIA lance en bêta publique XR AI, une bibliothèque open source pour créer des agents IA sur lunettes AR et casques XR. L’objectif : des assistants capables de voir ce que voit l’opérateur et de le guider en temps réel, les mains libres.
- NVIDIA a lancé XR AI, une bibliothèque open source pour créer des agents IA sur lunettes AR et casques XR.
- Cette technologie vise à fournir une assistance contextuelle en temps réel, notamment dans des environnements comme les usines et les salles d'opération.
- Des entreprises comme Siemens et des laboratoires de Stanford testent déjà XR AI pour améliorer les workflows et la recherche scientifique.
Les lunettes connectées, ce vieux rêve de la tech, trouvent peut-être enfin leur cas d’usage concret. Pas dans le salon, mais sur le terrain : en salle d’opération, en usine, dans un laboratoire de recherche en thérapie cellulaire. NVIDIA vient de rendre disponible en bêta publique NVIDIA XR AI, une bibliothèque open source qui permet aux développeurs de connecter les flux vidéo, audio et capteurs d’un appareil XR à des modèles d’IA, pour délivrer une assistance contextuelle en temps réel. Concrètement : un agent qui voit ce que vous voyez, comprend ce que vous dites, interroge vos systèmes d’entreprise et vous répond sans que vous ayez à décrocher les mains de ce que vous faites.
NVIDIA XR AI : une architecture modulaire pensée pour le terrain
La bibliothèque s’articule autour de quatre blocs. Elle ingère d’abord les signaux bruts de l’appareil XR : images, audio, données de profondeur et de position. Elle connecte ensuite l’agent à des outils et services tiers via le protocole MCP, ce qui lui permet d’interroger des bases de données d’entreprise, des jumeaux numériques ou des systèmes de gestion de maintenance. Pour le raisonnement, la plateforme s’appuie sur les modèles Nemotron et Cosmos Reason de NVIDIA, avec une orchestration multi-agents assurée par le NeMo Agent Toolkit.
Ce qui est intéressant dans cette architecture, c’est le soin apporté à la latence. Les pixels vidéo restent en mémoire partagée ; seules les métadonnées légères circulent dans le système, et les images ne sont transmises aux modèles que lorsqu’une tâche le requiert vraiment. Sur des lunettes AR portées toute une journée de travail, ce genre de détail n’est pas anodin. L’infrastructure peut tourner en cloud, en datacenter ou en edge, sur des systèmes DGX Spark, DGX Station ou RTX PRO.
Des cas d’usage déjà en test chez Siemens et dans les labos de Stanford
Les premiers déploiements donnent une idée de l’ambition. Siemens explore, dans un contexte de recherche, comment un ingénieur de maintenance portant des lunettes légères pourrait interroger un agent sur une panne de contrôleur logique programmable et recevoir des instructions en temps réel, en croisant les données du jumeau numérique et les workflows d’automatisation de l’usine. Du côté de la recherche scientifique, la startup Rana a intégré XR AI dans son système LabOS pour guider des chercheurs en thérapie cellulaire et en édition génomique CRISPR au Cong Lab de Stanford et au Wang Lab de Princeton, en leur fournissant une assistance pas à pas sans qu’ils aient à quitter leur procédure des yeux.
L’UPMC (University of Pittsburgh Medical Center) a de son côté présenté une intégration en salle d’opération : l’agent est conçu pour ne pas occulter le champ de vision du chirurgien, en surfaçant uniquement les informations utiles sans créer de distraction visuelle. LabOS est compatible avec les lunettes Meta, Rokid et VITURE. Ce dernier a d’ailleurs présenté à l’AWE 2026 « Helix », ses premières lunettes de sécurité IA construites sur XR AI. Sur le plan matériel, Qualcomm a annoncé en parallèle la puce Snapdragon Reality Elite, avec +60 % de performance GPU, +30 % CPU et 20 % d’autonomie en plus par rapport à la génération précédente, pour équiper les prochaines lunettes AR à intelligence embarquée.
NVIDIA construit une pile logicielle complète
NVIDIA ne se contente plus de vendre des GPU pour entraîner des modèles. La firme construit méthodiquement une pile logicielle complète, du capteur au raisonnement, pour s’imposer comme l’infrastructure de référence de l’IA agentique dans le monde physique. XR AI s’inscrit dans la même logique que son Avatar Cloud Engine ou son écosystème Omniverse : fournir aux développeurs une fondation réutilisable plutôt qu’un produit fini, et capter ainsi la valeur à chaque couche de la chaîne.
La bibliothèque est open source et disponible sur GitHub, ce qui abaisse la barrière d’entrée pour les développeurs, mais le chemin entre un prototype convaincant et un outil certifié pour une salle d’opération est long. La stratégie d’investissement de NVIDIA dans l’écosystème IA suggère que la firme joue sur plusieurs tableaux simultanément, et XR AI en est une pièce de plus.
L’IA agentique qui perçoit le monde physique en temps réel n’est plus une démonstration de laboratoire : elle commence à s’intégrer dans des workflows réels, même si les déploiements restent encore expérimentaux. Ce qui se joue ici dépasse la simple annonce d’une bibliothèque : c’est une bataille pour définir qui contrôlera l’infrastructure logicielle des agents du monde physique.
