Hérault

Entrainer un Lora pour Qwen image avec Ai-toolkit

Qwen image est un modèle d’intelligence artificielle de grande taille, comptant 20 milliards de paramètres, soit presque le double du modèle Flux.

Malgré cette complexité, il est possible de l’entraîner efficacement sur une carte graphique Nvidia 4090 équipée de seulement 24 Go de RAM, grâce à des optimisations spécifiques.

L’outil Ai Toolkit facilite cette opération en simplifiant la gestion des ressources et le processus d’entraînement, rendant la technologie accessible même aux utilisateurs disposant d’un matériel grand public.

Ai toolki installation

Téléchargez Ai toolkit ici : https://github.com/ostris/ai-toolkit

Pour l’installation suivez les recommandations dans la page. Si vous êtes sur Windows et que vous souhaitez un moyen de l’installation sans prise de tête essayez l’installeur de Travis1:

https://github.com/Tavris1/AI-Toolkit-Easy-Install

Préparation des datas

Préparez votre set d’images (entre 20 et 100). Entre 1 et 1,5 megapixel.

Légendez vos images correctement. Le principe est que tout ce qui est décrit ne sera pas entrainé.

Une fois vos images prêtes et légendées, importez les dans Ai Toolkit :

New Job

Préparez vos paramètres. Cliquez sur « New Job »

  • Job

Donnez un nom à votre Lora et définissez si nécessaire un déclencheur (Trigger)

Choisissez le modèle « Qwen-image »

  • Quantization

Choisissez 3 bits with ARA

  • Linear Rank

Mettez 16 (cela suffit car ce modèle est énorme).

  • Save

Laissez BF16 et choisissez le nombre d’étape entre chaque sauvegarde ainsi que le maximum d’étapes que vous allez garder.

  • Training 

Pour entrainer un style vous pouvez laisser le Learning rate à 0.0001, Timestep Type Weighted et activez Cache Text Embeddings

Pour entrainer un personnage vous pouvez laisser le Learning rate à 0.0002, Timestep Type Sigmoid et activez Cache Text Embeddings

  • Dataset 1

Je vous conseille de décocher 1024

  • Sample

Ici, paramétrez les images « témoins ». Vous déterminez à « Sample Every » le nombre de steps après lesquels une ou plusieurs générations témoins sont effectuées. Ici 250 (en concordance avec les tapes après lesquelles une sauvegarde de Lora est effectuée)

  • Sample prompts

Déterminez le nombre de prompts pour toutes les images témoin que vous souhaitez générer.

  • Créer le job

Quand vous avez terminez cliquez sur « Create Job » en haut à droite.

Lancer l’entrainement

Dans « Training jobs » sélectionnez le job et cliquez sur l’icône play

Si vous n’avez pas télécharger les modèles ils le seront ce qui peut prendre du temps.