Rien dans son quotidien n’oblige plus Addy Osmani à exercer son esprit critique, maintenant que des agents d’IA font la plus grande part de son travail chez Anthropic. L’ingénieur de l’équipe Claude Code vous livre les questions qu’il se pose pour ne pas valider sans réfléchir tout ce que l’IA vous rend.
Si vous l'ignoriez, chez Anthropic, Claude écrit plus de 80 % du code qui entre dans les produits de l’entreprise. Ancien de Google, Addy Osmani a rejoint l’équipe de Claude Code et confie donc la plupart de ses tâches à des agents d’IA, qui enchaînent seuls plusieurs étapes de programmation. Ces derniers mois, d’autres ingénieurs sont sortis du bois et admis que l’IA les avait transformés davantage en opérateurs qu’en concepteurs. Dans un long texte publié sur X, Addy Osmani, de son côté, se dit grand amateur de ces outils et ne réclame aucun retour en arrière. Il s’inquiète en revanche de la « capitulation cognitive ». Deux chercheurs de la Wharton School appellent ainsi le moment où vous reprenez à votre compte la réponse d’une IA sans plus la vérifier. Et plus les modèles progressent, plus les erreurs grossières sont rares, et moins vous avez de raisons de relire une réponse bien écrite et presque toujours juste.
La capitulation cognitive, dernier stade de la délégation à l’IA
Addy Osmani range la délégation à l’IA en trois niveaux. Au premier, vous confiez une tâche à l’agent et vous restez responsable du résultat. L’ingénieur procède ainsi toute la journée et vous invite à l’imiter. Au deuxième, la réponse de l’IA cesse d’être une hypothèse, et vous la prenez pour point de départ. Au troisième, vous la faites vôtre sans éprouver le besoin de la contrôler.
Steven Shaw et Gideon Nave, les deux chercheurs de Wharton, ont mesuré cette dernière attitude au cours de trois expériences menées auprès de 1 372 personnes, avec des énigmes conçues pour piéger l’intuition. Par rapport aux participants privés d’IA, le taux de bonnes réponses augmentait de 25 points quand l’assistant avait raison, et diminuait de 15 points quand il se trompait.
Vous descendez ces marches sans le remarquer, par petites étapes, toutes raisonnables en apparence. Comme l’explique Addy Osmani, « vous avez bien lu la dernière réponse, alors vous survolez la suivante, puis vous ne regardez que la structure de celle d’après ». Le jour où quelqu’un vous interroge sur une ligne, vous ne savez plus l’expliquer, même avec l’aide de votre agent. C’est ainsi que s’accumule la dette cognitive. Le code paraît impeccable et les tests passent. Vous découvrez le problème le jour où vous devez modifier le système et que plus personne ne le comprend. Le piège vous guette aussi avec un document de stratégie, si vous le validez après avoir lu son seul sommaire.
Les questions qu’Addy Osmani se pose avant de valider le travail d’un agent
L’ingénieur ne vous demande pas de tout vérifier. Quand l’enjeu est faible, il délègue entièrement. Pour enregistrer un cours, il a récemment laissé une IA choisir entre trois hôtels aux notes équivalentes, et il recommencerait. Il garde en revanche la main pour placer son argent, conseiller ses enfants sur leur orientation ou décider si un logiciel est prêt à être livré.
Avant de lancer un agent sur une tâche sérieuse, il note une hypothèse, même mauvaise, parce qu’après la lecture d’une réponse bien rédigée, vous avez du mal à imaginer une autre solution. Il se demande ensuite ce qui devrait être vrai pour que la réponse soit fausse, puis il le vérifie par un test. Quand un test passe au vert, cherchez ce qu’il a prouvé et ce qu’il n’a pas prouvé, conseille-t-il. Si l’agent a glissé dans le test l’erreur de la fonction contrôlée, le test passe quand même. Addy Osmani demande enfin à l’agent la liste des choix et des suppositions qu’il a faits en cours de route, les valeurs par défaut par exemple.
Une fois par semaine, il recommande d’écrire un peu de code sans agent, et une fois par mois, de noter ce que vous avez cessé de faire pour décider de ce que vous acceptez de perdre. Dans une étude menée auprès de 132 de ses ingénieurs et chercheurs, Anthropic parle d’un « paradoxe de la supervision ». Pour superviser Claude, il faut les compétences en programmation que l’usage excessif de l’IA risque d’atrophier. « Les compétences que vous cessez d’exercer vont disparaître, et sans doute plus vite que vous ne l’imaginez », souligne l’ingénieur d’Anthropic.
