Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Category:

Очередной подход к онтологизации в deep learning

Очередная попытка привнести типы в deep learning: типом обозвали vector space with an orthogonal basis -- http://arxiv.org/abs/1602.02218 (заголовок там "Strongly-Typed Recurrent Neural Networks". Согласитесь, цепляет!).

Это продолжение развития линии усматривания в репрезентациях типов, которую предложил Colah в своём посте http://colah.github.io/posts/2015-09-NN-Types-FP/. Предложено разделение сетки на пару wares: статические типы в learnware, а динамика RNN в firmware. Конечно, попутно поминаются все работы по дифференцируемым структурам данных. И обсуждается аппроксимация бинарных функций. Cудя по моим последним разговорам, эту вот "аппроксимацию бинарных функций" люди совсем не понимают -- ибо а) она вроде как уводит от "строгих логических обсуждений" в недоказываемые эвристики, и б) когда там что-то доказывается, чаще всего такая аппроксимация оказывается невыучиваемой на практике (скажем, сетка с одним скрытым слоем является универсальным аппроксиматором, но на практике это нереализуемо -- the universal approximation construction works by allocating a neuron to every to every small volume of the input space, and learning the correct answer for each such volume.  The problem is that the number of such small volumes grows exponentially in the dimensionality of the input space, https://theneural.wordpress.com/2013/01/07/universal-approximation-and-depth/).

Для меня эта строгая типизация -- продолжение линии онтологической инженерии, но на распределённых (а не символьных) представлениях.

Успехи в обучении таких "строго типизированных" сеток пока более чем умеренные, хотя ошибок такие сетки делают меньше обычных RNN (типизация IMHO всегда связана с уменьшением числа ошибок -- если вы знаете, что Форд типа автомобиль отличается от Форда типа человек, то ошибок у вас будет меньше. IBM Watson использует онтологии именно для таких целей. Почему бы для подобных целей не использовать онтологии в нейронных сетках?).
Subscribe

  • NVIDIA как поставщик вычислительной инфраструктуры, 2021

    Сегодня Jensen Huang выступил с очередными анонсами на GTC 2021, https://youtu.be/eAn_oiZwUXA (с этой презентации только всё началось, там будет ещё…

  • lytdybr

    Лекции по стратегированию записаны, двадцатый поток их уже получил -- там 4 часа 40 минут записи на 54 слайда (суммарно тем самым "системный…

  • lytdybr

    Слайды короткого курса "Стратегирование 2021" почти готовы, завтра планирую уже начать записывать видеолекции, они пойдут текущему двадцатому потоку…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 1 comment