Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Выучится всё! Нейронное арифметико-логическое устройство

Пошли эксперименты с специализированными для частных предметных представлений нейронными архитектурами: и вот для чисел в DeepMind сделали нейронное арифметико-логическое устройство, НАЛУ. Реализовано NALU как активационная функция, работает на-ура: https://arxiv.org/abs/1808.00508. Experiments show that NALU-enhanced neural networks can learn to track time, perform arithmetic over images of numbers, translate numerical language into real-valued scalars, execute computer code, and count objects in images. In contrast to conventional architectures, we obtain substantially better generalization both inside and outside of the range of numerical values encountered during training, often extrapolating orders of magnitude beyond trained numerical ranges.

Практическое значение NALU не такое уж большое, но это хорошая демонстрация направления, в котором сейчас бродят мысли исследователей в глубоком обучении. Так что после публикации пять-шесть имплементаций можно было найти на GitHub в первую же пару дней после публикации (https://twitter.com/DeepMindAI/status/1025375916107673602).

В комментах там шутят про "побольше innates" -- это innate priors, знания о мире, заложенные в вычислительный хардвер. Какие знания о мире являются самыми базовыми? Логики? Арифметики? Растровой графики? Эмулировать-то можно что угодно на чём угодно, вопрос в том, что нужно для максимизации числа применений, чтобы хардвер на этих innate priors оказался самый эффективный для большинства применений. Так что фишка не в самом NALU, а в показываемом направлении исследований: в архитектуру нейронной сети встраивают активационные функции, подхаканные для каких-то специфических применений, а не "универсальные". Это открывает новые горизонты, от DeepMind требуют какую-нибудь white paper на эту тему. Но и без white paper уже всё понятно. Вот, сделали выучиваемую, а не программируемую арифметику и логику! У яндекса "найдётся всё!", а у DeepMind "выучится всё!". Вот вам обсуждение deep learning, structure and innate priors -- http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.html

NALU расположена внизу интеллект-стека, то есть это направление работ по innate priors потенциально влияет на самые разные уровни выше -- уровень учебных алгоритмов, уровень когнитивной архитектуры, уровень прикладной архитектуры (http://ailev.livejournal.com/1356016.html). При этом на всех уровнях интеллект-стека развитие идёт со скоростью два прорыва в неделю.

У меня в первой части завтрашнего тренинга "как выжить в эпоху перемен перемен" (ага, вторая производная: сами перемены меняются!) как раз краткая характеристика происходящего в мире: http://system-school.ru/uptodate. Материал оказывается быстропрокисающим, слайды готовил буквально пару недель назад, уже чуть-чуть рассказывал по этим слайдам, https://ailev.livejournal.com/1438343.html, но уже хочется эти слайды обновить.
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 23 comments