Flux 2 Klein 4B & 9B : Enfin des Modèles Rapides et Exploitables en Local

Le monde de la génération d’images par IA est en ébullition constante, mais une barrière demeure pour beaucoup : la nécessité d’un matériel surpuissant. Black Forest Labs, les créateurs de la famille de modèles Flux, vient de frapper un grand coup avec la sortie de Flux 2 Klein. Présentés comme les « petits frères » de Flux 2, ces modèles sont conçus pour être extrêmement rapides et fonctionner sur du matériel grand public, sans sacrifier (trop) la qualité. Analysons en profondeur ce que cette nouvelle famille a dans le ventre.

Les Différentes Saveurs de Flux 2 Klein

La famille Klein se décline en plusieurs versions, chacune avec ses spécificités, ses prérequis et sa licence. Comprendre ces nuances est crucial pour choisir le bon outil.

Taille et Prérequis : 4B vs 9B

Flux 2 Klein 4B : Avec ses 4 milliards de paramètres, c’est le modèle le plus accessible. Il est donné pour fonctionner avec environ 13 Go de VRAM, le rendant compatible avec des cartes graphiques comme les NVIDIA RTX 3090/4070. Son atout majeur, au-delà de sa légèreté, est sa licence Apache 2.0, qui autorise une utilisation commerciale. C’est une excellente nouvelle pour les développeurs et les créateurs indépendants.
Flux 2 Klein 9B : Plus lourd avec 9 milliards de paramètres, ce modèle est logiquement plus précis et détaillé. Il nécessite cependant une configuration plus musclée, avec environ 20 Go de VRAM ou plus. Malheureusement, il est distribué sous la licence restrictive Flux Dev non commerciale, limitant son usage à des projets personnels ou de recherche.

Usage et Optimisation : Base vs Distillée

Pour chaque taille (4B et 9B), Black Forest Labs propose deux variantes avec des objectifs très différents :

Les versions Distillées (Distilled) : Elles sont optimisées pour l’inférence, c’est-à-dire la génération rapide d’images. Elles sont plus légères et, comme nous le verrons, produisent généralement des résultats visuels de meilleure qualité pour une utilisation directe. C’est la version à privilégier pour créer et éditer.
Les versions de Base (Base) : Plus lourdes et plus lentes, elles sont principalement destinées à l’entraînement (training) et au fine-tuning (par exemple, avec des LoRA). Leur utilisation pour la génération directe est déconseillée, les résultats étant souvent décevants.

En résumé, pour la plupart des utilisateurs, le modèle le plus intéressant est le Flux 2 Klein 4B Distilled : rapide, léger, de bonne qualité et avec une licence permissive.

Exemples de la diversité des images générées par Flux 2 Klein — *La famille Klein est capable de générer une grande diversité de styles. Image :* Black Forest Labs

Performances en Génération d’Images (Text-to-Image)

La promesse de vitesse est-elle tenue ? Absolument. Les tests comparatifs montrent des performances impressionnantes, surtout pour la version 4B Distillée qui atteint près d’une itération par seconde, se montrant plus rapide que des concurrents comme Z-Image Turbo.

Qualité Visuelle et Limites

Si la vitesse est au rendez-vous, qu’en est-il de la qualité ?

Le bon compromis : La version 4B Distillée offre des résultats surprenants pour sa taille. Bien que moins détaillée que la version 9B, elle constitue un excellent compromis vitesse/qualité.
Le souci du détail : La version 9B Distillée brille dans les scènes complexes ou les styles qui demandent de la finesse, comme les effets de gravure (linocut).
Le talon d’Achille : Comme ses grands frères, Klein peine avec le photoréalisme des peaux, qui ont souvent un aspect « plastique » (plastoc). Il peut aussi générer des anomalies anatomiques (mains étranges, membres en trop).
Le point faible absolu : La génération de texte est à proscrire totalement. Les modèles Klein produisent du charabia illisible là où des modèles comme Qwen ou Z-Image s’en sortent bien mieux.

Attention au texte ! N’essayez pas de générer des affiches ou des logos avec du texte lisible en utilisant Flux 2 Klein. Le résultat sera systématiquement inutilisable.

La Vraie Force de Klein : L’Édition d’Images Multi-Références

Là où les modèles Klein brillent véritablement, c’est dans leur capacité à éditer des images en utilisant une ou plusieurs images de référence. C’est une fonctionnalité puissante qui ouvre des possibilités créatives immenses.

Changement de Perspective et de Pose

Il est possible de demander au modèle de modifier l’angle de vue d’un sujet. Par exemple, à partir d’une photo de face, on peut générer une vue de profil. Les versions distillées excellent dans cet exercice, et le 4B Distilled donne déjà des résultats très satisfaisants. On peut même utiliser une image de référence (comme un squelette en pose) pour appliquer cette pose à un personnage.

Interaction, Remplacement et Couleur

Les capacités d’édition vont bien plus loin :

Interaction d’objets : Faire asseoir un personnage d’une image 1 dans un fauteuil d’une image 2. Le concept fonctionne, même si l’échelle n’est pas toujours respectée.
Remplacement de matériaux : Appliquer la texture d’un tissu (image 2) sur un meuble (image 1).
Changement de couleur précis : Modifier la couleur d’un vêtement en utilisant un code hexadécimal (ex: #4BC8FA). La version 4B Distillée s’est montrée étonnamment fidèle dans cet exercice.
Relighting : Changer l’éclairage d’une scène en spécifiant les couleurs des sources lumineuses avec des codes hexadécimaux.

Face Swap et Changement d’Environnement

Deux des démonstrations les plus bluffantes sont :

Face Swap : Échanger le visage d’une personne sur une photo avec un autre visage de référence. Le modèle parvient à conserver le grain de peau et l’éclairage de la photo originale, pour un résultat très convaincant.
Changement d’environnement : Transformer radicalement une scène. Par exemple, prendre une photo d’une personne dans un champ et la plonger « sous l’eau, entourée de poissons ». La version 4B Distillée a produit un résultat jugé plus « naturel » que la version 9B, qui était « trop propre ».

Exemple d'édition d'image par collage avec Flux 2 Klein — *L’édition multi-références permet de composer des scènes complexes. Image :* Black Forest Labs

Mise en Pratique avec ComfyUI

Bonne nouvelle, les modèles Flux 2 Klein sont parfaitement intégrés à ComfyUI. Voici comment se lancer.

1. Prérequis : Mise à jour et Téléchargements

La première étape, indispensable, est de mettre à jour ComfyUI à sa dernière version. Ensuite, il vous faudra télécharger les fichiers des modèles. Chaque version (4B/9B) nécessite un ensemble de fichiers spécifiques.

Vous pouvez trouver des guides détaillés et les liens de téléchargement sur le site officiel de ComfyUI Docs ou sur les pages Hugging Face de Black Forest Labs.

Modèle	Fichier Diffusion	Fichier Text Encoder	Fichier VAE (commun)
Klein 4B (Base/Distilled)	`flux-2-klein-base-4b-fp8.safetensors` `flux-2-klein-4b-fp8.safetensors`	`qwen_3_4b.safetensors`	`flux2-vae.safetensors`
Klein 9B (Base/Distilled)	`flux-2-klein-base-9b-fp8.safetensors` `flux-2-klein-9b-fp8.safetensors`	`qwen_3_8b_fp8mixed.safetensors`	`flux2-vae.safetensors`

Important : Placez les fichiers .safetensors de diffusion dans le dossier ComfyUI/models/diffusion_models, les encodeurs de texte dans ComfyUI/models/text_encoders et le VAE dans ComfyUI/models/vae.

2. Utiliser les Workflows Intégrés

Une fois les modèles installés, le plus simple est d’utiliser les templates fournis avec ComfyUI. Allez dans le menu Browse Templates et cherchez « Klein ». Vous trouverez des workflows pré-configurés pour le Text-to-Image et l’édition d’images.

Paramètres clés à retenir :

Pour les modèles Distilled : utilisez un CFG de 1.0 et seulement 4 étapes (steps). Un prompt négatif n’est généralement pas nécessaire.
Pour les modèles Base : utilisez un CFG plus élevé (ex: 5.0) et plus d’étapes (ex: 20-25).

Conclusion : Un Outil Révolutionnaire pour l’Édition Locale

Flux 2 Klein, et en particulier sa version 4B Distillée, s’impose comme un outil formidable pour les créateurs qui travaillent en local. Sa vitesse fulgurante et ses besoins matériels raisonnables le rendent très accessible.

S’il n’est peut-être pas le meilleur choix pour générer une image parfaite à partir de zéro (surtout si elle contient du texte), il excelle en tant qu’outil d’édition et d’itération rapide. Un flux de travail très intéressant pourrait être de générer une image de base avec un modèle comme Z-Image Turbo ou Qwen, puis de l’importer dans ComfyUI pour la peaufiner, la modifier et l’explorer créativement avec Flux 2 Klein.

Avec sa licence Apache 2.0, le modèle 4B ouvre la porte à de nouvelles applications interactives et commerciales, démocratisant un peu plus l’accès à une intelligence artificielle visuelle puissante et réactive.