Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Глубокое обучение мельчает? Не дождётесь! Ждём гиперреволюцию, гиперэволюцию!

Эксперт Мелкомягких Исследований Li Deng заявил недавно, что в deep learning все низковисящие фрукты сорваны, и период бурного развития и надувания пузыря переходит в планомерное совершенствование -- каждого нового результата теперь придётся ждать долго (http://www.theplatform.net/2015/07/07/is-the-window-closing-on-big-leaps-forward-in-deep-learning/).

Моё мнение совсем другое: всё только-только начинается и полученные в последнее время результаты не выход на верхнее плато S-образной кривой развития, а ровно наоборот -- окончание нижнего плато.

Сейчас происходит интенсивная ломка мозгов, массовая и по всему миру. Так, рассуждения про "машины тьюринга недостаточно для моделирования интеллекта" заменяются на "нейронных сетей достаточно, чтобы моделировать машину тьюринга". Вообще, нейронные сети формально моделируют любую функцию, в том числе функцию множества переменных. Это, кстати, очень сильное теоретическое утверждение (http://neuralnetworksanddeeplearning.com/chap4.html) -- ибо "функция" это не только численная функция, и компиляция компьютерной программы, и перевод с языка на язык, и классификация, и поиск. С одной стороны, это не строгое воспроизведение "любой функции", а именно что "бесконечное приближение", моделирование самого важного -- но это изменение парадигмы. И вот самые отчаянные уже говорят о триумфе эмпирицизма в лице глубоких архитектур: http://www.kdnuggets.com/2015/07/deep-learning-triumph-empiricism-over-theoretical-mathematical-guarantees.html. И мы помним, что deep learning это только часть более общего направления representation learning (http://ailev.livejournal.com/1045081.html). А ещё помним, что в основе нейронных сеток лежат какие-то присущие природе закономерности, это не чистая "придумка ума", они физичны в своих свойствах -- там, похоже, работает физика процессов эволюции (http://ailev.livejournal.com/1197148.html). Вообще, идеи из физики в нейронных сетях -- это уже общее место. Вот, например, Deep Unsupervised Learning using Nonequilibrium Thermodynamics -- http://jmlr.org/proceedings/papers/v37/sohl-dickstein15.html

Пузырь в такой ситуации взрывного роста успехов исследователей и инженеров, конечно, неминуем. Куда ж тут без пузыря и обманутых ожиданий желающих поучаствовать в неминуемых прибылях! В ходе надувания пузыря огромное количество народу будет узнавать про новую предметную область и тыкаться в ней во всё, что ни попадя -- и ведь попадут (во всех смыслах этого слова)! Так, акцент уже сегодня с классических работ по анализу изображений смещается на их синтез. Плюс выпячивается аспект глубокой нейронной сетки как "универсального вычислителя". Такая сетка начинает использоваться для разбирательства с последовательностями, текстами и другими разворачивающимися во времени процессами (а не картинками и прочими статическими ситуациями) -- вот свеженький обзор подходов http://arxiv.org/abs/1506.00019.

Их уже начинают использовать в вопросно-ответных системах, это наверняка будет следующим хитом (потенциально это, конечно, killer application) -- уже их добавляют в IBM Watson (http://www.technologyreview.com/news/539226/ibm-pushes-deep-learning-with-a-watson-upgrade/), а MetaMind демонстрирует "научение рассуждениям, научение распознавать причинно-следственные связи (http://www.technologyreview.com/news/538821/computers-are-getting-a-dose-of-common-sense/). Вообще, сходите на вебсайт MetaMind (https://www.metamind.io/), развлекитесь. Там много интересного. Вот, например, как они приспособили способность нейронной сетки распознавать изображения -- накладывают в очках augmented reality на изображение предмета его название на иностранном языке, получается словарь-переводчик хоть для разговора, хоть для изучения языков (https://www.metamind.io/alis):


Аппаратура на подходе, но и на существующей аппаратуре прогресс довольно ощутим. Например, NVIDIA выпустила новую версию библиотек, которая ускоряет работу нейронных сетей на её ускорителях (pun intended) вдвое -- и что, вдвое это "уже нет существенного прогресса"? Налетай, http://www.nvidia.ru/object/nvidia-updates-deep-learning-software-jul-07-2015-ru.html. Хотя да, когда нейронные сетки улучшали результаты существующих алгоритмов распознавания речи при увеличении скорости в сто раз и выигрыше по памяти в те же сто раз, то "вдвое" уже не кажется прогрессом. Но так и закон Мура можно обозвать законом периода застоя в развитии вычислительной техники, там ведь тоже всё основано на "вдвое"!

Потенциал разгона вычислений в representation learning ещё не исчерпан. Например, возникают новые способы порождения кода для ускорителей -- вот, evolving GPU Machine Code (использует идеи квантовых вычислений, чтобы синтезировать код для GPU -- http://www.jmlr.org/papers/v16/dasilva15a.html). А есть и просто исследования по новым аппаратным архитектурам для scientific computing, совершенно необязательно это "нейроморфные архитектуры", никаких нейронов, чистая математика с оптимизацией типовых операций, встречающихся в том числе в representation learning (помним, что в этой предметной области отнюдь не всё "нейроморфное"!). Получается, что мы на вполне дискретно-логических (тьюринговых, "теоретически строгих") машинах делаем эмпирические "аналоговые" вычислители, которыми вновь моделируем строгую логику -- более того, открываем эту новую логику в природе, распознаём без учителя много сначала более-менее "физических", а затем всё более логических уровней абстрации, тех самых, что у Gregory Bateson, тех самых что обсуждают философы, когда обсуждают объективацию -- способ, которым мы выделяем объекты из физического мира (и мира идей, впрочем тоже, который каждый раз оказывается более физичным, чем о нём можно было бы подумать. Ах, проклятие метафизики, от которой нельзя отмахнуться!).

Попутно начинают появляться аргументы против луддитов с их вечным "эти машины забирают нашу работу". Конечно, забирают. Так, порнографию из социальных сеток в прошлом году отлавливало до 100тыс. человек (кто б мог подумать!) -- http://www.wired.com/2014/10/content-moderation/. В этом году это делает нейронная сетка -- http://www.wired.com/2015/07/twitters-new-ai-recognizes-porn-dont/. Рраз -- и ста тысяч рабочих мест нетути! Рабочие места аналитиков спецслужб, надеюсь, тоже будут исчезать сотнями тысяч: работа-то у них похожая! Всё то же самое применимо и к спаму -- Гугль вот объявил, что с помощью нейросеток избавился от спама в gmail на 99.9% -- http://www.wired.com/2015/07/google-says-ai-catches-99-9-percent-gmail-spam/

Но как маленькая кучка капиталистов не захватила всех прибылей мира, потому как капиталистами (т.е. так или иначе получающими доход от вложенного в ценные бумаги капитала) стало подавляющее число населения в развитых странах, так и прибыль от эксплуатации роботов/инструментов/станков достанется отнюдь не только кучке их владельцев. Утеря работы руками не будет означать неминуемой утери дохода, ибо этой работой можно владеть через личное или коллективное владение роботом -- тщательно воспитанным и обученным (артигогика: http://ailev.livejournal.com/1011621.html, http://ailev.livejournal.com/1133262.html). Эти аргументы нужно ещё чистить и чистить, но они уже появляются: http://www.technologyreview.com/featuredstory/538401/who-will-own-the-robots/

Нет, учёный из Microsoft Research поторопился с выводами. Ещё не все низковисящие плоды сорваны, выход на уровень работы нейронных сеток, сравнимый с человеческими результатами не означает, что всё вдруг остановилось и дальше мы будем медленно-медленно приближаться к тому, что умеет человеческий мозг из настоящих белковых нейронов. Существование низковисящих плодов только-только начинает осознаваться, а инженеры быстро-быстро строят лестницы туда, куда исследователи даже не думали заглядывать, предприниматели находят новые вполне низковисящие плоды там, где их никто не ожидал.

Нейронная сетка это машина, её делают инженеры. Ей не нужно эволюционировать миллионы лет, как динозаврам для получения птички. Людям для создания летательного аппарата тяжелее воздуха потребовалось не так много лет. Главное было -- взлететь первому самолёту. Первая ЭВМ тоже случилась совсем недавно, а ведь Alan Kay утверждает, что компьютерная революция (классических фон-неймановских компьютеров!) ещё толком не началась -- http://ailev.livejournal.com/469995.html.

Если развить эту метафору, то первые глубокие сетки как раз только что взлетели (и пилот в них тождественен механику, как на заре авиации -- ситуация даже хуже, чем в первые годы космонавтики), как раз только выполнили первые программы (набранные в машинном коде переключателями "с пульта", если уж сравнивать их с первыми компьютерами -- да, именно настолько неудобно эти сетки сегодня конфигурировать и настраивать). Дальше всё не замедлится, дальше будет только ускоряться -- революция нейронных сеток ещё не началась. Более того, я даже не уверен, что это будет революция именно нейронных сеток, на слуху ведь ой-ой-ой сколько самых разных архитектур representation learning. А уж смесь из representation learning с его глубокими архитектурами, классической компьютерной революции (в её хардверной и софтверной части) и стремительно приближающегося квантового компьютинга может дать не то чтобы революцию, а гиперреволюцию. Ну, или не эволюцию мышления, а гиперэволюцию -- революция, эволюция, шмеволюция тут уже неважно.
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 50 comments