Audiocraft de Meta : créez gratuitement de la musique et du son à partir de texte avec l’IA

Meta, la société mère de Facebook, a annoncé la sortie d’Audiocraft, un ensemble de trois outils d’intelligence artificielle (IA) pour la génération de musique et de son à partir de texte. Ces outils, destinés à des fins de recherche, permettent aux utilisateurs de créer des mélodies, des pièces musicales et des effets sonores en utilisant uniquement une interaction en langage naturel.

Audiocraft se compose de MusicGen, un modèle d’IA introduit en juin 2023 qui peut générer des mélodies et des pièces musicales à partir de texte et d’autres musiques. Il comprend également AudioGen, un modèle d’IA génératif basé sur les Transformers introduit en octobre 2022 qui peut générer des sons correspondant à une entrée textuelle à partir de zéro ou étendre des fichiers audio existants.

Le troisième outil d’Audiocraft est EnCodec, un tokeniseur audio qui découpe les fichiers audio en petits morceaux pour le traitement par l’IA. Selon Meta, cette version améliorée produit une musique de meilleure qualité avec moins d’artefacts.

Meta affirme que la famille de modèles Audiocraft peut produire un audio de haute qualité, cohérent et plus long en utilisant uniquement une interaction en langage naturel. La sortie donne un accès complet aux recherches de Meta dans le domaine de l’audio génératif par l’IA au cours des dernières années. Avec Audiocraft, les musiciens ou les concepteurs sonores auraient par exemple des outils professionnels pour une inspiration plus rapide, un brainstorming ou une amélioration des compositions existantes.

L’équipe de recherche de Meta continue à travailler sur l’audio génératif, notamment sur l’audio de haute qualité basé sur les modèles de diffusion, la même technique qui a conduit à d’énormes améliorations de qualité dans la génération d’images.

L’objectif est par exemple de permettre aux musiciens de créer de nouvelles compositions sans avoir à jouer une seule note sur un instrument ou d’aider les développeurs indépendants à faible budget à remplir les mondes virtuels avec des effets sonores crédibles et variés. Pour Instagram, l’IA audio générative pourrait fournir la bande-son idéale pour les publications. Cependant, Audiocraft ne permet pas encore une utilisation commerciale, donc cela n’arrivera pas tout de suite.

Suite à la sortie, Meta souligne une fois de plus l’importance des modèles open source : “L’innovation responsable ne peut pas se faire en isolement. L’ouverture du code source de nos recherches et des modèles qui en résultent permet de garantir que tout le monde a un accès égal.”