MusicGen, l'intelligence artificielle de Meta et Google qui crée de la musique avec du texte

Meta parie sur une nouvelle intelligence artificielle appelée MusicGen pour créer de la musique à travers des descriptions. Le projet est gratuit et les pistes audio qu'il génère sont de courte durée.

Pour développer cette plate-forme, la société a créé un modèle de langage basé sur Transformer de Google , qui a été formé sur 20 000 heures de musique, en utilisant 10 000 pistes audio de haute qualité comme référence, et des données de Shutterstock et Pond5, des référentiels audio sous licence.

En plus de générer des pistes avec du texte, vous pouvez effectuer des mixages avec des fichiers audio personnels afin que le système prenne cette référence et la combine avec la description pour générer le résultat attendu.

Comment MusicGen fusionne

Comme la plupart des pages d'IA génératives, elle comporte une zone de texte où l'indication est écrite et d'un côté la plate-forme commence à générer la piste audio, qui dure environ 12 secondes.

Le site n'est pas destiné à créer une chanson complète ou une liste de production, mais de petites pistes qui servent d'inspiration ou pour des moments spécifiques. Bien qu'il soit possible de prolonger cette durée de quelques secondes supplémentaires en ajoutant ultérieurement un fichier audio de référence pour que le système mixe.

MusicGen est capable d'analyser le texte que l'utilisateur écrit pour comprendre les mots les plus importants et à partir de là pour commencer la composition du petit morceau de musique, ce qui fait de la description l'élément fondamental pour recevoir un résultat en fonction de ce qui est souhaité. .

De plus, si la même description est réutilisée, le résultat changera à chaque fois car le processus le fait à partir de zéro, surtout si vous ajoutez vos propres fichiers audio dans la requête.

Comment utiliser cette IA

À l'heure actuelle, MusicGen est toujours en développement, mais il existe un accès à une démo gratuite sur le portail du projet IA Hugging Face, il n'a donc pas de site ou d'application officiel pour le moment.

Pour interagir avec l'IA, vous devez suivre ces étapes :

1. Allez sur huggingface.co.

2. Sur la page d'accueil, recherchez la section des organisations qui utilisent la plateforme, où se trouve le logo Meta.

3. En y entrant, tous les projets de l'entreprise s'ouvriront sur la page et MusicGen apparaîtra en haut. Cliquez sur cette bannière.

À ce moment, une page s'ouvre avec une simple zone de texte où l'idée audio que nous avons doit être décrite en anglais. A côté se trouve la case pour ajouter un fichier audio à partir de l'ordinateur, puis une troisième section où la piste est générée.

Le processus de création, après avoir ajouté l'instruction, peut prendre plusieurs minutes et n'est pas immédiat comme sur d'autres plates-formes, vous devez donc attendre pour avoir plus tard la possibilité d'écouter et de télécharger le morceau d'audio généré.

Au cas où vous n'auriez pas une idée de ce qu'il faut générer et que vous commenciez simplement à tester l'IA, sous la zone de texte, le site propose quelques exemples qui peuvent être utilisés pour commencer à interagir avec elle.

MusicGen a une source ouverte, il est donc possible de connaître le modèle sous-jacent et il est disponible sur GitHub et l'utilisation commerciale est autorisée pour ceux qui souhaitent amener le système sur d'autres plates-formes ou l'étudier par eux-mêmes en profondeur.