Il est de bon ton d'accuser les géants chinois de l'IA de s'adonner à la distillation. Pourtant, l'un d'eux vient de s'élever contre la pratique, avec des arguments intéressants.
Que ce soit à la sortie de DeepSeek R1 en janvier 2025, ou plus récemment du modèle IA de Moonshoot, Kimi K3, la même accusation est sortie des États-Unis : la distillation. Pour rappel, cette pratique permet de transmettre le savoir déjà travaillé d'un modèle « enseignant » à un modèle « élève », et donc de produire un modèle IA presque aussi performant en travaillant infinimement moins. Et pourtant, même en Chine, on critique cette pratique.
ByteDance demande à ses équipes d'éviter la distillation
La distillation a-t-elle des limites ? Il semble que oui, vu ce qu'il se passe du côté de ByteDance (le géant chinois à l'origine de TiKTok). En effet, selon le média étatique The Paper, dont Reuters se fait l'écho, le fondateur Zhang Yiming a demandé à ses équipes d'éviter la pratique de la distillation pour améliorer leurs modèles IA.
Toujours selon la même source, Zhang Yiming aurait expliqué, à l'occasion d'une réunion interne, que le développement de l'IA nécessitait « une vision à long terme et une capacité à différer la gratification, plutôt que de s'appuyer sur les résultats des autres pour figurer en tête des classements à court terme ».
Pour le géant chinois, la distillation interfère dans le développement technologique à long terme
En somme, si la distillation permet de sembler à la hauteur, sur le long terme, la pratique empêcherait les entreprises d'intelligence artificielle de développer une base robuste à partir de laquelle créer leurs propres IA. Et c'est cette vision que Zhang Yiming veut propager dans son groupe.
Il a ainsi exhorté l'équipe de recherche Seed AI de « sacrifier certains gains à court terme au profit d'objectifs à long terme ». Reste maintenant à savoir s'il s'agit d'une position que l'on retrouvera seulement chez ByteDance, ou si les autres géants chinois du secteur comme DeepSeek, Monshot ou Qwen (Alibaba) partagent le même genre de constat.
Participer à la discussion
Partagez votre avis avec la communauté Clubic.