Schau dir MusicLM an, die künstliche Intelligenz Web-App, die qualitativ hochwertige Musik aus Textvorgaben erstellt, wenn du Musik magst. Die App hebt den Prozess der Erstellung von bedingter Musik mit ihrer hierarchischen Sequenz-zu-Sequenz-Modellierung auf eine ganz neue Ebene. Hinsichtlich der Audioqualität und der Einhaltung der Textbeschreibung haben die Entwickler der App, Andrea Agostinelli, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Qingqing Huang, Aren Jansen, Marco Tagliasacchi, Matt Sharifi, Neil Zeghidour und Christian Frank, einen fantastischen Job gemacht und Musik mit 24 kHz produziert, die frühere Systeme übertrifft.

Eine der interessantesten Funktionen von MusicLM ist die Fähigkeit, gepfiffene und gesummte Melodien in Musik umzuwandeln, die dem in einem Textkommentar angegebenen Stil folgt. Du kannst Musik erstellen, die den Textvorgaben entspricht und gleichzeitig eine bereitgestellte Melodie durch Zugabe von Melodie-Einbettungen in MusicLM bedingt.

Die Ersteller haben freundlicherweise MusicCaps, einen Datensatz bestehend aus 5,5k Musik-Text-Paaren mit umfangreichen Textbeschreibungen von menschlichen Experten, öffentlich zugänglich gemacht, um weitere Forschungen zu unterstützen.

Rich-Text-Beschriftungen können verwendet werden, um Musik mit MusicLM zu erstellen.