Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Очередной подход к онтологизации в deep learning

Очередная попытка привнести типы в deep learning: типом обозвали vector space with an orthogonal basis -- http://arxiv.org/abs/1602.02218 (заголовок там "Strongly-Typed Recurrent Neural Networks". Согласитесь, цепляет!).

Это продолжение развития линии усматривания в репрезентациях типов, которую предложил Colah в своём посте http://colah.github.io/posts/2015-09-NN-Types-FP/. Предложено разделение сетки на пару wares: статические типы в learnware, а динамика RNN в firmware. Конечно, попутно поминаются все работы по дифференцируемым структурам данных. И обсуждается аппроксимация бинарных функций. Cудя по моим последним разговорам, эту вот "аппроксимацию бинарных функций" люди совсем не понимают -- ибо а) она вроде как уводит от "строгих логических обсуждений" в недоказываемые эвристики, и б) когда там что-то доказывается, чаще всего такая аппроксимация оказывается невыучиваемой на практике (скажем, сетка с одним скрытым слоем является универсальным аппроксиматором, но на практике это нереализуемо -- the universal approximation construction works by allocating a neuron to every to every small volume of the input space, and learning the correct answer for each such volume.  The problem is that the number of such small volumes grows exponentially in the dimensionality of the input space, https://theneural.wordpress.com/2013/01/07/universal-approximation-and-depth/).

Для меня эта строгая типизация -- продолжение линии онтологической инженерии, но на распределённых (а не символьных) представлениях.

Успехи в обучении таких "строго типизированных" сеток пока более чем умеренные, хотя ошибок такие сетки делают меньше обычных RNN (типизация IMHO всегда связана с уменьшением числа ошибок -- если вы знаете, что Форд типа автомобиль отличается от Форда типа человек, то ошибок у вас будет меньше. IBM Watson использует онтологии именно для таких целей. Почему бы для подобных целей не использовать онтологии в нейронных сетках?).
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 1 comment