Практическое значение NALU не такое уж большое, но это хорошая демонстрация направления, в котором сейчас бродят мысли исследователей в глубоком обучении. Так что после публикации пять-шесть имплементаций можно было найти на GitHub в первую же пару дней после публикации (https://twitter.com/DeepMindAI/status/1025375916107673602).
В комментах там шутят про "побольше innates" -- это innate priors, знания о мире, заложенные в вычислительный хардвер. Какие знания о мире являются самыми базовыми? Логики? Арифметики? Растровой графики? Эмулировать-то можно что угодно на чём угодно, вопрос в том, что нужно для максимизации числа применений, чтобы хардвер на этих innate priors оказался самый эффективный для большинства применений. Так что фишка не в самом NALU, а в показываемом направлении исследований: в архитектуру нейронной сети встраивают активационные функции, подхаканные для каких-то специфических применений, а не "универсальные". Это открывает новые горизонты, от DeepMind требуют какую-нибудь white paper на эту тему. Но и без white paper уже всё понятно. Вот, сделали выучиваемую, а не программируемую арифметику и логику! У яндекса "найдётся всё!", а у DeepMind "выучится всё!". Вот вам обсуждение deep learning, structure and innate priors -- http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.html
NALU расположена внизу интеллект-стека, то есть это направление работ по innate priors потенциально влияет на самые разные уровни выше -- уровень учебных алгоритмов, уровень когнитивной архитектуры, уровень прикладной архитектуры (http://ailev.livejournal.com/1356016.html). При этом на всех уровнях интеллект-стека развитие идёт со скоростью два прорыва в неделю.
У меня в первой части завтрашнего тренинга "как выжить в эпоху перемен перемен" (ага, вторая производная: сами перемены меняются!) как раз краткая характеристика происходящего в мире: http://system-school.ru/uptodate. Материал оказывается быстропрокисающим, слайды готовил буквально пару недель назад, уже чуть-чуть рассказывал по этим слайдам, https://ailev.livejournal.com/1438343.html, но уже хочется эти слайды обновить.
