Accélérez vos générations d’images avec Flux Kontext Dev dans ComfyUI : La solution Nunchaku

Si vous utilisez ComfyUI pour générer des images avec Flux Kontext, vous avez peut-être rencontré des problèmes de lenteur ou de gestion de la mémoire vidéo (VRAM), surtout si vous disposez d’une carte graphique avec 8 ou 12 Go de VRAM. Mais même avec une carte puissante comme une RTX 4090, l’optimisation est toujours bienvenue. La bonne nouvelle est qu’il existe une solution pour accélérer considérablement ce processus sans sacrifier la qualité : Flux Kontext Dev avec Nunchaku.

Qu’est-ce que Nunchaku et pourquoi est-il si efficace ?

Nunchaku est un moteur d’inférence efficace conçu pour les réseaux neuronaux 4-bit, optimisés grâce à la quantification SVDQuant. Il s’agit d’un plugin pour ComfyUI développé par le laboratoire MIT Han Lab.

Depuis la version v0.3.3, Nunchaku prend en charge FLUX.1-Kontext-dev, permettant une accélération significative des générations d’images. L’objectif est de fournir une solution qui réduit considérablement le temps de génération tout en maintenant une qualité d’image très proche de l’originale.

Les bénéfices clés de Nunchaku incluent :

• Vitesse accrue : Les générations d’images sont « extrêmement plus rapides ». Par exemple, une génération qui prenait 11 secondes peut être réalisée en moins de secondes avec des réglages optimaux, et même en 2 secondes si la qualité est moins une priorité.
• Optimisation de la VRAM : Les modèles Nunchaku sont très légers, pesant moins de 7 Go chacun, comparativement aux versions originales22. Le paramètre cpu_offload permet de réduire l’utilisation de la mémoire GPU14.
• Qualité préservée : Il y a très peu d’écart de qualité entre la version normale et la version accélérée, avec seulement quelques « petits détails en moins » qui sont « très dérisoires » compte tenu du gain de temps.
• Compatibilité étendue : Nunchaku propose des modèles spécifiques pour les cartes RTX de la série 50 et un autre pour toutes les autres cartes RTX. Il est également compatible avec les GPU de la série 20 (Turing)

Installation de Nunchaku dans ComfyUI : Un guide étape par étape

L’installation de Nunchaku implique quelques étapes, mais elle est gérable. Nunchaku installe des dépendances spécifiques (comme Triton Torch modifié) donc si vous craignez que cela ne perturbe d’autres extensions effectuez cette installation sur une version propre de ComfyUI

Etape 1 : Installation du plugin ComfyUI-Nunchaku

• Ouvrez le Manager (Custom Manager) dans ComfyUI.
• Dans la barre de recherche, tapez « wiki » et installez « Comfy Workflows » (prenez la version juste avant la nightly).
• Cliquez sur « Restart » pour relancer ComfyUI et rafraîchissez votre navigateur.
• Allez dans « Workflow Browse Templates ».
• Descendez un peu pour trouver et sélectionner « Configur Wiki Workflows ». Le workflow qui nous intéresse est celui du lien fourni dans la vidéo.
• Si des nœuds sont manquants (par exemple, l’icône de Nunchaku devrait apparaître), cliquez sur « Open Manager » et installez les nœuds manquants de Nunchaku.
• Cliquez sur « Install » puis « Restart » dès que le message apparaît pour relancer ComfyUI.

Étape 2 : Installation du backend Nunchaku (Wheel)

• Ouvrez le Manager (Custom Manager) dans ComfyUI.
• Dans la barre de recherche, tapez « wiki » et installez « Comfy Workflows » (prenez la version juste avant la nightly).
• Cliquez sur « Restart » pour relancer ComfyUI et rafraîchissez votre navigateur.
• Allez dans « Workflow Browse Templates ».
• Descendez un peu pour trouver et sélectionner « ComfyUI Wiki Workflows ». Le workflow qui nous intéresse est celui du lien fourni dans la vidéo.
• Si des nœuds sont manquants (par exemple, l’icône de Nunchaku devrait apparaître), cliquez sur « Open Manager » et installez les nœuds manquants de Nunchaku.
• Cliquez sur « Install » puis « Restart » dès que le message apparaît pour relancer ComfyUI

Étape 3 : Installation du backend Nunchaku (Wheel)

• Lorsque vous relancez le workflow, il y aura encore une erreur, c’est normal.
• Sélectionnez tous les nœuds (Ctrl+A).
• Désélectionnez certains nœuds en maintenant la touche Majuscule enfoncée et en cliquant sur les nœuds « NunchakuWheelInstaller » et « Preview Any »
• Supprimez tous les autres nœuds qui ne sont pas nécessaires pour l’installation.
• Resélectionnez les nœuds restants et cliquez sur l’icône pour les faire revenir (ou Ctrl + B). Vous devriez voir un nœud qui installera automatiquement la version correcte de Nunchaku Wheel. Ce nœud est le « NunchakuWheelInstaller ».
• Sélectionnez ce nœud et cliquez sur l’icône pour lancer le workflow. Cela va télécharger et installer le Nunchaku Wheel personnalisé avec ses dépendances.
• Une fois l’installation terminée, relancez ComfyUI et rafraîchissez votre navigateur.

Étape 4 : Configuration finale du Workflow

• Retournez dans « Workflow Browse Templates » et recherchez à nouveau « Configur Wiki Workflows » pour sélectionner le bon workflow.
• Normalement, vous ne devriez plus avoir de nœuds rouges.
• Supprimez le nœud d’installation que vous avez utilisé (celui qui a des dépendances spécifiques).
• Enregistrez ce template tel quel.
• Téléchargez les modèles Nunchaku : Il y a deux modèles principaux à choisir en fonction de votre carte : un pour la série RTX 50 et un autre pour toutes les autres cartes RTX. Ces modèles font moins de 7 Go. Vous devrez les placer dans le dossier models/diffusion_models. Tous les modèles sont disponibles sur HuggingFace ou ModelScope.
• Refaites les liens dans le workflow pour « Clip L » et « T5 FP8 », ainsi que pour le « VAE ».

Paramètres Clés et Optimisations

Une fois votre installation prête, quelques paramètres peuvent être ajustés pour optimiser davantage vos générations :

• cache_threshold : Ce paramètre vous permet de trouver le bon compromis entre la qualité de l’image et la rapidité de la génération.

• Enable GPU offload (ou cpu_offload) : Par défaut sur « auto », vous pouvez l’activer si vous rencontrez toujours des problèmes de mémoire. En mode « auto », il se désactive si votre GPU a plus de 14 GiB de mémoire, sinon il est activé. Bien que cela réduise l’utilisation de la VRAM, cela peut ralentir l’inférence.
• Attention : Vous pouvez choisir entre flash-attention2 ou nunchaku-fp16. nunchaku-fp16 est environ 1,2 fois plus rapide que flash-attention2 sans compromettre la précision. Pour les GPU Turing (série 20), où flash-attention2 n’est pas pris en charge, vous devez utiliser nunchaku-fp16.
• data_type : Définit le type de données pour les tenseurs déquantifiés. Les GPU Turing (série 20) ne prennent pas en charge bfloat16 et ne peuvent utiliser que float16.

Conclusion

Nunchaku représente une avancée majeure pour les utilisateurs de ComfyUI souhaitant accélérer leurs générations d’images avec Flux Context Dev, en particulier ceux qui sont confrontés à des contraintes de VRAM. Le gain de temps est significatif pour une dégradation minimale de la qualité. Bien que l’installation puisse sembler un peu complexe au début, les avantages en valent la peine, offrant une expérience de génération d’images beaucoup plus fluide et rapide.