Stable Audio, la nouvelle merveille d’IA qui compose de la musique sur mesure

Stability AI, une startup basée à Londres, a dévoilé mercredi un nouveau produit appelé Stable Audio, qui utilise l’IA pour générer des pistes musicales et des effets sonores personnalisés. Stable Audio utilise un modèle d’IA basé sur la diffusion pour créer des fichiers audio personnalisés en quelques secondes à partir d’un simple texte. Les utilisateurs spécifient des genres, des instruments, des accords, et d’autres caractéristiques. Le système compose alors automatiquement des chansons, des effets sonores ou des pistes d’instruments correspondants.

Jusqu’à 90 secondes à 44,1 kHz

Stability AI a testé l’outil avec des entrées telles que “Post-Rock, Guitars, Drum Kit, Bass, Strings, Euphoric, Up-Lifting, Moody, Flowing, Raw, Epic, Sentimental, 125 BPM”. Le résultat est une chanson rock rapide et atmosphérique à 125 BPM. Selon Stability, cela permet à Stable Audio de créer des chansons dans une variété de genres, notamment l’ambient, la techno et la trance.

Contrairement aux précédents générateurs de musique basés sur l’IA, Stable Audio semble être capable de produire des morceaux musicalement cohérents dans une qualité audio professionnelle de 44,1 kHz sur une période plus longue allant jusqu’à 90 secondes. Les échantillons publiés sonnent de manière authentique et ne laissent guère deviner qu’il n’y a pas de compositeurs humains derrière. Sur un GPU Nvidia A100, 95 secondes d’audio devraient être générées en moins d’une seconde, selon Stability AI.

Les artistes reçoivent une part des revenus de Stable Audio

Pour atteindre cette qualité, le système a été entraîné sur une bibliothèque musicale fournie par AudioSparx. AudioSparx s’est associé à Stability AI et a promis à la startup une part des revenus de Stable Audio pour utiliser les environ 800 000 chansons, effets sonores et extraits d’instruments. En contrepartie, les créateurs des chansons utilisées dans l’entraînement peuvent partager les bénéfices de Stable Audio grâce à AudioSparx.

Ils auraient été préalablement interrogés avant l’entraînement s’ils souhaitaient rendre leurs chansons disponibles. Cette décision pourrait être une réponse à l’opposition massive que Stability a rencontrée dans le débat sur le droit d’auteur entourant le matériel d’entraînement de Stable Diffusion.

Selon Stability AI, les utilisateurs peuvent utiliser les pistes créées avec Stable Audio gratuitement pour un usage personnel. L’utilisation commerciale nécessite un abonnement payant. La société vise les professionnels créatifs, comme les cinéastes ou les développeurs de jeux, qui ont besoin rapidement d’une musique d’ambiance adaptée.

Stable Audio se distingue de Stable Diffusion en ce qu’il n’est pas open source, contrairement au populaire modèle d’image. Cependant, la FAQ indique qu’un modèle open source entraîné sur d’autres données sera bientôt publié. La base de Stable Audio est le modèle texte-musique Dance Diffusion, qui a été publié par Harmonai en 2022 avec le soutien de Stability. Cependant, Stable Audio est un modèle développé à partir de zéro par la division audio de Stability Al, qui a été fondée en avril.

L’utilisation de modèles de diffusion pour la musique n’est pas une idée nouvelle. Cependant, la force de Stable Audio réside dans sa capacité à produire des morceaux de longueurs variables, a-t-il déclaré. Cela a été pris en compte lors de l’entraînement, a-t-il déclaré.

Pas de filtre de contenu pourrait conduire à un plagiat facile

L’outil pourrait également être utilisé pour falsifier des chansons d’artistes populaires. Jusqu’à présent, les labels ont réussi à combattre de telles créations d’IA, mais la situation juridique reste floue.

Stability AI lui-même insiste dans une interview avec Techcrunch qu’il veut utiliser la technologie de manière responsable. La base de données d’AudioSparx ne contient pas de chansons pop, mais beaucoup qui sont étiquetées comme telles dans le style d’artistes connus. Contrairement à MusicLM de Google, les noms d’artistes célèbres ne sont pas bloqués, du moins pas encore.

Il reste à voir si Stable Audio sera rentable pour le modèle économique de Stability AI, qui est jusqu’à présent dans le rouge. En tout cas, la qualité impressionnante des compositions d’IA fait lever les sourcils.