Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Музыкальные рестораны, в которых готовят неземную музыку

Уже некоторое время я слушаю мат-рок (math rock, https://en.wikipedia.org/wiki/Math_rock, изобилие этого дела и лента новостей есть в https://vk.com/mathwall). Но фронтир музыки не там, он в deep learning. Вот две свежих истории на эту тему:

Нужно было сочинить фантастические песнопения на фантастическом языке для аудиокниги. Натренировали сетку на хорватское a capella пение "клапа" (внесённое в список нематериального культурного наследия человечества, но это тут неважно) https://ru.wikipedia.org/wiki/%D0%9A%D0%BB%D0%B0%D0%BF%D0%B0. А на выходе получили ровно то, что нужно: неземные песнопения, напоминающие какой-то славянский язык, но на языке, которого на Земле нет. И музыка тоже несуществующая, ибо фантастика ж. Вот эта история, там и образцы для прослушивания: https://www.mcdbooks.com/features/sourdough

А вот это мне очень нравится как проверка "понимания стиля", сделанная в аудио по образу и подобию того, что делается в картинках. Если на картинке машинка поняла, что такое стиль, то она может выполнить морфинг из одного стиля в другой стиль, постепенно ослабляя количество одного стиля и наращивая количество другого -- но при этом сохраняя содержание, оформленное разностилевым образом. Вот типичный пример такой работы (https://nips2017creativity.github.io/doc/High_Quality_Anime.pdf):


В аудио/музыке это всё оказалось чуток труднее сделать, да и не так наглядно (наслышно?) всё оказывалось, как с картинками. И вот пример, как это работает для мелодий (https://nips2017creativity.github.io/doc/Hierarchical_Variational_Autoencoders_for_Music.pdf, https://magenta.tensorflow.org/music-vae, https://youtu.be/jNiES3pdrU4):


Вот это и будет следующим шагом в развитии музыки. Нечеловеческая музыка, какой на Земле ещё не было, в стилях, которые могут как быть похожими на что угодно, так и быть непохожими. Генератор новых художественных стилей (CAN, creative adversarial network) с картинами уже понятно как делать -- https://arxiv.org/abs/1706.07068. Скоро это и для музыки будет понятно как сделать, в 2018 наверняка кто-то озаботится и повторит.

Основная проблема тут, конечно, потребная вычислительная мощность. Но это не потребная духовная сила, не запас вдохновения и прочих производных от "духа". Это можно купить. Сегодня это дороговато ещё в требуемых для комфортной работы с аудио количествах, но цена на вычислительные ресурсы на GPU падает ежегодно примерно вдвое. Так что нужно просто немного подождать, и даже не слишком долго. И всё будет. И звучать это будет сильно поинтереснее, чем даже тот же leftfield house (https://www.allmusic.com/style/left-field-house-ma0000012312, залежи и новостная лента тут: https://vk.com/e_leftfield). А ведь и на такую музыку есть спрос.

Рекомендательные сервисы за следующий десяток лет неожиданно могут превратиться в том числе и сочинятельные сервисы. Я бы этому не удивился. Если ты в ресторане хочешь того, чего у них нет в меню, то в лучших ресторанах тебе это просто приготовят. Если в музыкальном ресторане ты хочешь неземной музыки (которой на Земле ещё нет, но которую ты очень полюбишь, когда до неё доберёшься), то в лучших ресторанах её обязаны сочинить и исполнить для тебя, любимого. Туда оно всё и катится.

И да, все эти "синестезии" у нейронных сетей -- легко. Все эти "цветомузыки", "звуковизуальные ряды" -- это на раз. Так что чистой музыкой, чистым аудио дело не ограничится. Но это будет маргинальный рынок, "искусство для искусства". А вот muzak для работы, обеда, поездок -- вот тут рынок неземной музыки будет массовый, чистое аудио при свободных глазах.
* * *
Кстати, AI от Alibaba превзошёл людей в тесте чтения -- https://www.bloomberg.com/news/articles/2018-01-15/alibaba-s-ai-outgunned-humans-in-key-stanford-reading-test, а AI от Майкрософта на день позже добился даже чуть бОльших результатов. “That means objective questions such as ‘what causes rain’ can now be answered with high accuracy by machines,” Luo Si, chief scientist for natural language processing at the Alibaba institute, said in a statement. “The technology underneath can be gradually applied to numerous applications such as customer service, museum tutorials and online responses to medical inquiries from patients, decreasing the need for human input in an unprecedented way.”

Это не музыка, но по сути всё про то же.
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 12 comments