Pour enrichir son nouveau modèle d'IA sans alourdir les calculs dans les mêmes proportions, Alibaba lui adjoint une vaste table de représentations numériques. Une approche économe en calcul, mais qui demande de la place pour stocker les poids.

Qwen4-Max ne s’arrête pas aux 2 400 milliards de paramètres mis en avant par Alibaba. À ce réseau principal s’ajoute une table de 328 milliards de paramètres, dans laquelle l’IA vient puiser au fil du texte. À elle seule, cette table compte plus du double des 125 milliards de paramètres du réseau principal de Qwen3.8-Flash-Next. Avec son nouveau modèle lancé le 16 novembre, le géant chinois cherche ainsi à augmenter les capacités de son IA sans faire croître dans les mêmes proportions le travail des processeurs.
Une table dans laquelle l’IA vient chercher des représentations du texte
Pour comprendre le principe, il faut revenir aux tokens, ces fragments dans lesquels le modèle découpe le texte. Un n-gram est une suite de n tokens consécutifs. Là où un embedding classique associe une représentation numérique à un token, la table n-gram tient aussi compte des tokens qui le précèdent. Elle fournit donc au modèle des représentations de petits groupes, apprises pendant l’entraînement, pour compléter le traitement du fragment en cours.
Prenons, pour simplifier, l’expression « carte mémoire ». Si la suite de tokens correspondante possède une entrée dans la table, l’IA peut y récupérer la représentation du groupe. Elle ne consulte pas une définition rédigée à l’avance, mais un vecteur numérique qu’elle exploite dans ses calculs.
Le modèle ne consulte que les entrées dont il a besoin. La table peut ainsi contenir un grand nombre de paramètres sans alourdir beaucoup les calculs à chaque token. Alibaba avait déjà exploré cette piste avec Qwen3.8-Flash-Next et ses 51 milliards de paramètres d’embeddings n-gram. Sur ce modèle, la table peut être conservée dans la mémoire vive de la machine plutôt que de monopoliser celle du GPU. Les entrées nécessaires sont alors préchargées pendant que ce dernier poursuit ses calculs.
Moins de calcul ne veut pas dire un modèle léger
Le réseau principal de Qwen4-Max suit une autre voie pour limiter le travail à chaque étape. Grâce à son architecture à mélange d’experts, ou MoE, il ne mobilise que 71 milliards de paramètres par token, environ un quart de moins que Qwen3.8-Max. Les experts sollicités changent toutefois selon le token traité : les poids des autres ne peuvent pas être simplement oubliés puisque l’infrastructure doit pouvoir y accéder à leur tour.
C’est ce qui sépare l’économie de calcul de l’encombrement du modèle. Même en représentant chaque paramètre sur 4 bits, les seuls poids du réseau principal occuperaient théoriquement environ 1,2 To. Il faudrait encore ajouter la table n-gram, les données nécessaires à la quantification et la mémoire de travail utilisée pendant l’exécution.
À titre de comparaison, les PC RTX Spark montent à 128 Go de mémoire unifiée. Dans notre test de l’ASUS ProArt P16 RTX Spark, les 64 Go de la machine permettaient déjà de faire tourner Qwen3.8-27B quantifié en 4 bits, notamment pour synthétiser de la documentation. Un usage local bien concret, mais avec un modèle d’une tout autre taille.
Pour Qwen4-Max, ces calculs restent de toute façon théoriques. Alibaba propose l’accès par API et dans ses applications, sans avoir publié les poids. En août, le groupe avait attendu neuf jours après le lancement du service pour mettre en ligne Qwen3.8-2.4T-A95B, le modèle texte sur lequel repose Qwen3.8-Max. Il promet cette fois des Qwen4 plus petits à poids ouverts. Leur arrivée permettra de voir ce que cette architecture peut apporter à nos machines, et combien de place il faudra réellement lui faire.
Source : Alibaba Cloud
Un embedding classique associe à chaque token (fragment de texte) un vecteur numérique fixe utilisé par le modèle. Une table d’embeddings n‑gram étend ce principe à des séquences courtes de tokens (par exemple 2 à 5 tokens), ce qui permet de représenter non seulement un mot, mais aussi une expression et son contexte immédiat. Le modèle peut alors lire directement une représentation vectorielle d’un groupe fréquent plutôt que de tout reconstruire uniquement via les couches du réseau. Techniquement, c’est une grande mémoire d’indexation : on récupère quelques vecteurs pertinents, au lieu de faire intervenir tous les paramètres à chaque étape. Le gain est surtout en calcul, pas en taille de stockage, puisque la table peut devenir énorme.
Dans un réseau dense, une grande part des paramètres participe à des multiplications à chaque token, ce qui coûte cher en FLOPs et en bande passante GPU. Une table n‑gram fonctionne plutôt comme un accès mémoire : on sélectionne quelques entrées (par ID) et on les injecte dans le traitement, ce qui revient à lire des vecteurs plutôt qu’à exécuter des couches supplémentaires. Le coût devient proportionnel au nombre d’entrées consultées, pas à la taille totale de la table. En contrepartie, il faut gérer une forte pression sur la mémoire (RAM/VRAM) et sur les transferts de données, car les poids doivent rester accessibles rapidement. C’est donc une optimisation “compute” qui peut déplacer le goulot d’étranglement vers le stockage et l’I/O.
MoE (mélange d’experts) découpe le modèle en sous-réseaux spécialisés (experts) et n’en active qu’une fraction pour chaque token, via un mécanisme de routage. On parle alors de paramètres actifs par token : le modèle ne calcule qu’avec les experts sélectionnés, ce qui réduit le coût de calcul à l’inférence. En revanche, les paramètres des experts non activés ne disparaissent pas : ils doivent rester stockés et prêts à être appelés pour d’autres tokens. Résultat : la facture en VRAM/RAM (ou en stockage si on stream les poids) reste élevée, même si les FLOPs par token baissent. C’est la différence classique entre économie de calcul et encombrement mémoire du modèle.




