Faites danser la Joconde avec MagicAnimate et Animate Anyone sur TikTok par Bytedance et Alibaba

Des chercheurs de Bytedance et Alibaba ont développé des modèles d’intelligence artificielle capables de générer des clips vidéo photoréalistes de personnes ou de personnages animés en mouvement, à partir d’une seule image et d’une séquence de poses. Ces modèles, nommés MagicAnimate et Animate Anyone, pourraient offrir de nouvelles opportunités pour les influenceurs virtuels et les utilisateurs de TikTok.

Les modèles d’IA générative peuvent créer des images photoréalistes, et les premiers modèles peuvent générer des vidéos. Bytedance et Alibaba ont présenté des modèles qui génèrent des clips vidéo photoréalistes de personnes ou de personnages animés en mouvement, à partir d’une seule image et d’une séquence de poses .

Les deux entreprises utilisent des architectures légèrement différentes, mais toutes deux utilisent essentiellement des modèles de diffusion qui adaptent les images à un modèle qui spécifie les poses d’une séquence de danse, par exemple. MagicAnimate, de Bytedance et du Show Lab de l’Université nationale de Singapour, et Animate Anyone, d’Alibaba et de l’Institut de calcul intelligent, génèrent tous deux des clips vidéo courts de personnes ou de personnages animés en train de danser.

En utilisant des méthodes telles que ControlNet et des techniques de stabilité temporelle, les vidéos atteignent une cohérence beaucoup plus élevée que les autres modèles de texte-à-vidéo ou d’image-à-vidéo, battant le meilleur actuel du benchmark TikTok de près de 40 % .

Les deux méthodes ne nécessitent qu’une seule image et une seule séquence de mouvement pour générer des vidéos – cela peut être une personne réelle, la Joconde, ou une image générée par l’IA. MagicAnimate de Bytedance peut même animer plusieurs personnes simultanément.

Plus d’opportunités pour TikTok – et les influenceurs virtuels

Avec ces méthodes, les influenceurs virtuels, qui existent aujourd’hui principalement sous la forme d’images statiques et de texte généré par l’IA, pourraient bientôt également reprendre les tendances actuelles de TikTok ou créer d’autres clips vidéo courts. À l’avenir, Bytedance pourrait également proposer les modèles directement sur TikTok pour ses clients .

Le code de MagicAnimate est disponible sur les pages du projet sur Github. Une démo de MagicAnimate est également disponible. Le code de Animate Anyone devrait également être disponible sur Github prochainement – l’équipe veut apporter quelques améliorations avant la sortie.

---

Mes livres

Le Basilic de Roko	Mon parcours de rédacteur web	Science corrompue et servile	Nous, Tueurs en série