Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Categories:

Парадигмальный вентилятор уже работает

Как раз для гиковской пятницы вечера: свежий наброс на парадигмальный вентилятор: текст Neural Networks, Types, and Functional Programming, https://colah.github.io/posts/2015-09-NN-Types-FP/ (ага, deep learning это второе пришествие функционального программиования, только оно само об этом не знает ещё). Representations correspond to types. Дьявол, да! Типы это про онтологию, онтология из именованной становится набором параметров, вместо имён адреса, на передний план выходит эпистемология -- как их получают, а не каковы сами эти типы (я об этом говорил в пункте 2 http://ailev.livejournal.com/1213434.html). Осталось только понять про "распределённые типы" (недаром из школ по deep learning первым же пунктом выносят the need for distributed representations. "During his first talk, Yoshua Bengio said “This is my most important slide”" -- http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summer-school/).

В Reddit обсуждают этот наброс тут: https://www.reddit.com/r/haskell/comments/3jiqcf/haskells_map_fold_zip_and_their_deepneuralnetwork/

Там же в Reddit поминают, что в Rosetta Stone (http://math.ucr.edu/home/baez/rosetta.pdf) теоркатегорщики генерализуют "program : type" and "proposition : type" to "physical process : physical system", "morphism : object", and "cobordism : manifold".

Сам Colah физической парадигмы не предусматривает, а зря (я писал о ней в "физика процессов эволюции и deep learning", http://ailev.livejournal.com/1197148.html).

Если сюда добавить семинар "Когнитивные вычисления: интеграция нейронного и символического подходов" в декабре 2015 (http://www.neural-symbolic.org/CoCo2015/), то мировую вакханалию можно считать успешно стартованной. Про то, что reasoning теперь не только логический, но и нейро, семинар рядом. И вообще, названия тамошних "семинаров рядом" (их тьма) вдохновляют -- https://nips.cc/Conferences/2015/Schedule?type=Workshop. Как всегда, это только сегодня все спохватились, а семинары по нейро-символической интеграции для знающих людей идут с 2005 года (http://www.neural-symbolic.org/).

Парадигмы уже успешно ломаются. Так, в лингвистике с "молекул-слов" быстро-быстро акцент переходит на "атомы-буквы", и кто тут не сориентировался, тот проиграл. То в одной ситуации, то в другой это даёт улучшение качества, например, в ситуациях с переводом редких слов, http://arxiv.org/abs/1508.07909.

Ещё мне нравится, что начали появляться работы типа "обучение на лету на вечной обучающейся машине" (http://arxiv.org/abs/1509.00913), где можно не только познакомиться с идеями Perpetual Learning Machine (работа на тему памяти в глубоком обучении, с архитектурой отличной от LSTM, предложенной ещё в 1997 году), но и прочесть acknowledgement, где написано: "автор делал эту работу по выходным и был поддержан женой и детьми". Жена и дети -- лучший "институт развития" для науки. Мимо всех форсайтов.

При этом обзоры типа AI и the Future of Business пытаются что-то в этой ломке основ спрогнозировать -- http://www.zdnet.com/topic/ai-and-the-future-of-business/ (спецвыпуск с кучей отдельных обзоров. Традиционно от "прогноз: в 2016 году больше $2млрд. продаж будут осуществлены исключительно мобильными цифровыми помощниками", т.е. Siri, Cortana и подобными, до "34% боятся искусственного интеллекта" потому как Skynet и потеря рабочих мест). Это скука, это будни цивилизации. Вот очередное переобустройство всего корпуса человеческого знания -- вот это редкий праздник. Даже онтология из путеводной звезды и "нашего всего" отодвигается в сторону восходящей звездой вечно бывшей в загоне гносеологии-эпистемологии (http://ailev.livejournal.com/1211950.html про learning to learn и пункт 2 в http://ailev.livejournal.com/1213434.html про смену типа вопрошания к миру -- "обучение" и "коммуникация" становится ведущей парадигмой, сменяя метафизическую парадигму "открытия истинной онтологии").

Говорят, парадигмы вымирают только вместе с их носителями. Не знаю, не знаю, времена ведь меняются. Большой Парадигмальный Вентилятор включился, и грядёт массовая продувка (а для особо упорных -- промывка) мозгов.

Вы ещё не опоздали сделать свой наброс на этот вентилятор. Поучаствуйте в празднике, не стойте в сторонке. Входной барьер низок, институт жены и детей вас поддержит. Приятных выходных!
Subscribe

  • Обучение организации деятельности: выполнено, но потребовалось 15 лет работы

    В эти дни в сентябре 2006 года я написал пару постов про организацию деятельности как важную часть менеджмента. В посте…

  • lytdybr

    Из интеллект-стека в ОдО остались исследования, этика, риторика, методология, экономика, системное мышление, труд (трудовой кругозор) и выпавшая…

  • lytdybr

    Сегодня в ОдО нашёлся содержательный баг: в интеллект-стеке пропущена эстетика. А её нужно туда воткнуть в явном виде, иначе трудно будет цеплять…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 3 comments