?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Нечеловеческая музыка: Covered in Cold Feet [03 Oct 2019|12:39am]
Нечеловеческая в прямом смысле этого слова музыка, которую сделал Aaron Ackerson (https://youtu.be/fN-bQddbbUI):


Он взял короткую музыкальную фразу, которая ему пришла в голову, и заставил эту фразу продолжать программу MuseNet (https://openai.com/blog/musenet/). Затем подправил результат и скормил его опять AI. Затем продолжал этот процесс, пока не почувствовал, что песня готова. Лирику он написал похожим образом: использовал Talk to Transformer (https://talktotransformer.com/) реализацию сети GPT-2. Выдачу программы на каждой строчке он подправил так, чтобы слова рифмовались. А обложку сгенерировал при помощи Text To Image API от DeepAI, увеличив её разрешение нейронной сеткой Let's Enhance.

Трек этот (Covered in Cold Feet) выложен 3 августа 2019. Ситуация в музыке резко поменяется, когда появятся продвинутые music models с реализацией примерно тех же идей, что в language models. Можно скормить какой-нибудь сетке ALBERT (самый современный вариант language model -- https://venturebeat.com/2019/09/26/google-ais-albert-claims-top-spot-in-multiple-nlp-performance-benchmarks/) огромный корпус текстов, а можно -- огромный корпус музыки. С теми же примерно "ошеломительными" и "пугающими" результатами, боязнью потоков "фейковой музыки" и прочими ужасами неиссякаемых источников творчества.

Эти работы с универсальными для многих задач музыкальными моделями уже начались, пока скромненько, с оригинальной сеткой BERT. Например, 14 августа уже появилась работа по Multitask training with Music Models (разные задачи -- генерация песни, гармонизация мелодии, новая мелодия для существующей последовательности аккордов, тот же ритм с другой песней, та же песня с другим ритмом), вот заключительный пост в серии -- https://towardsdatascience.com/how-to-remix-the-chainsmokers-with-a-music-bot-6b920359248c
1 comment|post comment

navigation
[ viewing | October 3rd, 2019 ]
[ go | previous day|next day ]