Black Forest Labs veut rendre la génération et la retouche d’images par IA beaucoup plus accessibles en local. Son nouveau Flux 3 Image Klein peut ainsi fonctionner sur une carte graphique grand public tout en conservant une partie des capacités de modèles nettement plus lourds.
Plus besoin d’une énorme carte graphique pour faire tourner un modèle d’image récent chez soi. Lancé le 15 octobre, Flux 3 Image Klein ne compte que 5,6 milliards de paramètres, soit environ 38% de moins que Flux.2 Klein 9B, sans compter l'encodeur de texte. Ses poids peuvent être téléchargés, ce qui permet de générer ou de retoucher des images directement sur son ordinateur sans passer systématiquement par un service en ligne.
Cette approche intéressera autant les utilisateurs soucieux de garder leurs fichiers en local que ceux qui souhaitent modifier ou spécialiser le modèle.
Une RTX 4070 suffit pour se lancer
Selon Black Forest Labs, la version quantifiée en INT8 peut fonctionner sur certaines cartes graphiques GeForce RTX disposant de seulement 8 Go de mémoire vidéo. Les besoins varient toutefois selon la définition, le nombre d’images de référence et les réglages utilisés.
Dans sa déclinaison distillée, conçue pour arriver au résultat en moins d’étapes, NVIDIA mesure un peu moins de neuf secondes pour produire une image de 1 024 points par 1 024 sur une GeForce RTX 4070. Ce chiffre ne doit évidemment pas être confondu avec les performances obtenues en 4K.
Flux 3 Image Klein fonctionne notamment avec ComfyUI et Diffusers (voir la FAQ ci-dessous). Les images servant de référence peuvent ainsi rester sur le PC, sans être envoyées sur un serveur distant. Les utilisateurs les plus avancés pourront également créer des adaptations LoRA pour orienter le modèle vers un style, un personnage ou un type d’image précis.
Black Forest Labs n’en est pas à son premier coup
Klein ne se limite d’ailleurs pas à générer une image à partir d’une simple description. Le modèle accepte jusqu’à dix références, peut produire nativement en 4K et utilise des cadres pour guider le placement d’un élément ou cibler une retouche (sans toutefois garantir que le reste de l’image demeure inchangé).
Des fonctions particulièrement utiles lorsqu’il faut conserver une composition précise ou travailler à partir d’un visuel existant. Black Forest Labs affirme que son modèle devance notamment Qwen-Image 2.1, Krea 2 et Ideogram V4.5 sur ses propres évaluations.
Flux joue aussi dans la cour de Midjourney, Google et OpenAI
La concurrence ne manque pas. Midjourney, Nano Banana de Google ou encore GPT Image d’OpenAI occupent déjà solidement le terrain de la génération et de la retouche d’images.
Flux 3 Image Klein possède toutefois un argument différent. Le modèle peut être téléchargé et exécuté directement sur une machine personnelle, ce qui laisse davantage de contrôle sur les fichiers, les réglages et les éventuelles personnalisations.
Ceux qui préfèrent une solution prête à l’emploi peuvent déjà retrouver plusieurs modèles Flux dans Adobe Firefly, notamment Flux.2 Pro et Flux.1 Kontext, via les modèles partenaires et les crédits associés. À ce jour, la présence de Flux 3 Image Klein dans Firefly n’a cependant pas été confirmée.
La quantification INT8 consiste à stocker une partie des poids d’un modèle en entiers sur 8 bits au lieu de formats plus précis (comme FP16/FP32). Cette baisse de précision réduit fortement la taille en mémoire vidéo (VRAM), ce qui peut rendre un modèle exploitable sur des cartes graphiques grand public. En contrepartie, on peut observer une légère perte de qualité ou de stabilité selon les modèles et les prompts, même si beaucoup restent très proches visuellement. La quantification peut aussi améliorer le débit (inférence plus rapide) sur certains GPU, mais ce n’est pas systématique car cela dépend des kernels et du support matériel. Au final, c’est un compromis capacité/qualité qui vise surtout à faire tenir le modèle dans 8 à 12 Go de VRAM.
La distillation est une technique où un modèle plus compact (l'élève) est entraîné pour reproduire le comportement d’un modèle plus lourd (le professeur). En génération d’images, cela vise souvent à obtenir un rendu similaire en moins d’étapes d’échantillonnage, donc plus rapidement. Le gain principal est la latence (temps pour produire une image), ce qui est crucial en local sur GPU grand public. La contrepartie typique est une perte possible de diversité, de finesse sur certains détails ou de robustesse sur des demandes complexes. Les résultats varient selon la distillation utilisée et les réglages (sampler, nombre de steps, guidance, etc.).
ComfyUI est une interface node-based qui permet de chaîner visuellement des étapes (chargement du modèle, génération, upscale, inpainting, contrôle, etc.) et de reproduire facilement des workflows. Diffusers est une bibliothèque Python (écosystème Hugging Face) qui fournit des pipelines prêts à coder pour exécuter des modèles de diffusion, gérer les schedulers et intégrer des optimisations. ComfyUI est souvent privilégié pour expérimenter et itérer sans écrire de code, tandis que Diffusers est pratique pour intégrer la génération d’images dans un outil, un script ou une application. Dans les deux cas, exécuter en local signifie que les images de référence et les sorties restent sur la machine, sans transit obligatoire par un serveur distant. Les performances dépendront surtout du modèle, de la VRAM, de la précision (FP16/INT8) et des optimisations activées (xFormers, TensorRT, etc.).
Une LoRA (Low-Rank Adaptation) est un petit ensemble de poids additionnels entraînés pour orienter un modèle vers un style, un sujet ou un personnage sans réentraîner l’intégralité du modèle. Techniquement, elle ajoute des matrices de faible rang sur certaines couches, ce qui réduit fortement le coût en calcul et en stockage par rapport à un fine-tuning complet. Cela facilite la spécialisation locale : on charge le modèle de base, puis on applique une ou plusieurs LoRA selon le besoin. Les LoRA peuvent être ajustées en intensité (poids/strength), mais un réglage trop élevé peut dégrader l’image ou introduire des artefacts. C’est aussi une manière plus modulaire de gérer des compétences : on change de LoRA plutôt que de changer de modèle entier.
