Dans ce tutoriel je vous montre comment animez facilement des personnages dans ComfyUI avec Mimic Motion Wrapper.
MimicMotion intègre un modèle de diffusion image vers vidéo avec un nouveau modèle dit “confidence-aware guidance”. Les composants entraînables du modèle consistent en un réseau U spatiotemporel et un réseau PoseNet pour introduire la séquence de pose comme condition. Les principales caractéristiques de l’orientation de la pose basée sur la confiance sont les suivantes :
1) La séquence de pose est accompagnée de scores de confiance des points clés, ce qui permet au modèle d’ajuster de manière adaptative l’influence du guidage de la pose en fonction du score.
2) Les régions ayant un niveau de confiance élevé ont un poids plus important dans la fonction de perte, ce qui amplifie leur impact lors de l’apprentissage