Des chercheurs ont adapté l’entraînement de réseaux neuronaux pour l’intelligence artificielle. Leur méthode aide les réseaux à impulsions à apprendre avec précision, mais en consommant beaucoup moins d’énergie que les modèles classiques utilisés pour des IA comme ChatGPT.
À l'université de Bonn, on a dépensé beaucoup d'énergie, mais pour la bonne cause. Cela n'est plus un secret que les modèles d'IA, comme ChatGPT, sont gloutons en ressources électriques car elles traitent les signaux numériques en continu. Les réseaux neuronaux à impulsions, inspirés du fonctionnement du cerveau humain, utilisent eux des signaux courts et rares plutôt que des flux permanents.
Jusqu’ici, les méthodes d’entraînement classiques ne parvenaient pas à optimiser ces réseaux. Les scientifiques allemands ont modifié la manière de corriger l’erreur : ils ajustent le moment exact où chaque impulsion survient. Selon eux, cette méthode donne aux réseaux à impulsions une capacité d’apprentissage proche de celle des réseaux traditionnels.
Les signaux courts des réseaux à impulsions demandent moins d’énergie car ils limitent le traitement continu
Les systèmes d’IA classiques examinent des données en continu et transmettent des informations sur chaque liaison. Ces calculs permanents consomment beaucoup d’électricité.
Le cerveau humain fonctionne autrement. Les neurones biologiques envoient des impulsions électriques brèves, appelées potentiels d’action, uniquement à certains moments précis.
Les chercheurs de Bonn sont partis de ce principe pour leurs travaux. Dans un réseau à impulsions, un neurone ne transmet rien pendant la majeure partie du temps. Il envoie un signal uniquement lorsque plusieurs entrées convergent presque simultanément. Cette absence de flux permanent change profondément la manière dont l’information circule dans le réseau. L’ordinateur ne calcule plus en continu pour chaque connexion. Il réagit à des événements ponctuels.
Voilà qui donne tout son intérêt à ces réseaux, leur fonctionnement énergétique. Tant que les impulsions restent rares, le volume de calculs baisse mécaniquement.
Mais cette sobriété n'est pas sans présenter des aléas. En effet les méthodes d’apprentissage classiques modifient les signaux par petites étapes. Chaque cycle ajuste légèrement l’intensité d’une sortie, puis recommence. Dans un réseau à impulsions, ce réglage progressif n’existe pas. Une impulsion apparaît ou n’apparaît pas. Pendant longtemps, cette différence a rendu l’entraînement délicat.
Raoul-Martin Memmesheimer, professeur à l’Université de Bonn, rappelle que les impulsions ne surgissent pas au hasard. « Les neurones biologiques communiquent grâce à de brèves impulsions de tension », explique-t-il. Leur apparition dépend d’une synchronisation précise entre plusieurs signaux entrants. Cette contrainte temporelle a fini par devenir un levier plutôt qu’un obstacle.
Les chercheurs ont corrigé des instants d’impulsion pour améliorer l’apprentissage et tester la précision du réseau
Les chercheurs ont ajusté les instants d’apparition des impulsions après chaque cycle d’entraînement pour réduire l’erreur. L’algorithme ne modifie pas directement des valeurs numériques, mais la position temporelle des impulsions.
Ils ont testé cette idée sur une tâche simple. Ils ont demandé à un réseau à impulsions de reconnaître des chiffres manuscrits. À chaque cycle, le réseau produisait une réponse. Les erreurs servaient à effectuer de légers ajustements temporels des impulsions. Au fil des itérations, la reconnaissance gagnait en précision. Le réseau parvenait à distinguer correctement les chiffres sans jamais adopter un traitement continu.
Cette manière d’apprendre conserve le fonctionnement fondé sur des signaux rares. Le réseau ne bascule pas vers une activité permanente pour améliorer ses résultats. Il ajuste des instants, pas des flux. C’est ce point précis qui rend cette méthode intéressante pour l’intelligence artificielle. L’apprentissage progresse sans transformer l’architecture en système gourmand en calculs.
Les chercheurs indiquent avoir travaillé sur deux modèles standards de réseaux à impulsions. Dans les deux cas, la méthode a conduit à un apprentissage stable. Les résultats obtenus sur la reconnaissance de chiffres valent démonstration technique. D’autres tâches plus complexes restent à explorer. Raoul-Martin Memmesheimer évoque notamment la compréhension de la parole comme prochaine étape.
Mais pour l'heure, il semble que la priorité soit la consommation énergétique. Il suffit de se rendre compte du coût environnemental de l'IA, rien qu'en France, pour comprendre qu'il y a urgence. L'IA fait exploser la facture énergétique, mais on continue de l'utiliser.
Source : Université de Bonn, APS Journal (accès limité)
