?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Нейронет-из-НТИ как Олимпиада [04 Sep 2015|01:37pm]
Нейронетов сейчас два: "рабочая группа нейронета" (или нейровеба, там сами не знают уже) как самодеятельная научная неформальная тусовка без членства и "официальная рабочая группа нейронета в рамках НТИ под присмотром АСИ, плававшая на пароходе", т.е. кулуары правительства. Я наблюдаю за этими группами (и даже чуть-чуть участвую в их работе) последние полгода через группы в фейсбуке:
-- содержательная группа в https://www.facebook.com/groups/nevronet/ (и я там даже в очных заседаниях пару раз участвовал, там было интересно и футурологично -- типа http://ailev.livejournal.com/1142994.html год назад),
-- кулуары правительства в https://www.facebook.com/groups/1602081160032874/ (да, я отказался участвовать в тамошних очных заседаниях, причины как раз объясняю в этом посте).

Там есть несколько сюжетов, без которых трудно понять происходящее. Вот они:

1. Разлад нейрофизиологов с нейроморфщиками (нейроморф -- "форма нейро", ничего не сказано про содержание!). Нейроморфщики "неживые", но хотя бы чуть-чуть понимают нейрофизиологов. И это новая парадигма, у них новые результаты, в количестве. Нейрофизиологи тормозят и отстают, плохо понимают происходящее. Но их предмет нельзя выкинуть: в конечном-то итоге без живого мозга в частности и всего тела в целом никуда не денешься! По отношению к целевым системам нейроморфщиков у нейофизиологов в руках важнейшая для продуктов нейроморфщиков использующая система. Нейроморфщики это отлично понимают, но строят собственное понятие использующей системы, а затем сами занимаются нейрофизиологией -- но мимо текущих лидеров нейрофизиологов, чтобы не тратить время на лишние споры. Нужно учитывать, что:
-- нейрофизиологи вынуждены будут выйти на геномику уже вот прямо сейчас, улучшение человечьей породы в том числе биологическим а не только киборгическим путём неминуемо (http://nautil.us/issue/28/2050/dont-worry-smart-machines-will-take-us-with-them),
-- лучшие инструменты нейрофизиологам (да и всем остальным) будут сейчас давать именно нейроморфщики, все эти "большие данные" и "научные вычисления" плоть от плоти и кровь от крови нейроморфщиков (вот тут я дал несколько ссылок на эту тему в конце дискуссии: https://www.facebook.com/groups/1602081160032874/permalink/1632214417019548/)
-- плюс слово "нейро" активно используется обеими сторонами, и Гугль сотоварищи никогда не даст им забыть друг о друге.

Думаю, уже можно закупать попкорн и смотреть захватывающее кино о кардинальном переустройстве всей полянки нейрофизиологии -- если вы сами не попали в этот передел, тогда уж барахтайтесь как можете. Полянка deep learning (условно они нейроморфисты, разница в нюансах) будет обустраиваться и переобустраиваться, это не выглядит так драматично как у нейрофизиологов, но изменений в единицу времени там будет не меньше. Авторитеты и социальные связи, ведущие методы исследований и инженерии, ведущие приложения и меценаты -- меняться будет всё, и очень быстро.

Для каждого отдельного человека и отдельной компании развитие событий и проблемы будут существенно отличаться, я тут просто о среднестатистической температуре по больнице, про общие тренды.

Вся интрига группы нейронета-из-НТИ (группы в кулуарах правительства) выстроена вокруг этого -- даже если она и не видна самим участникам интриги. Deep learning появился там очень недавно, буквально "на пароходе", и нейрофизиологи никак не могут смириться с резким изменением ситуации, теряют время на бесполезную борьбу. А нужно дружить.

2. Нейроморфщики принесли с собой смену онтологического вопрошания к миру (и проектирование--конструирование-программирование как основной способ его освоения) на гносеологическое-эпистемологическое. С онтологиями сейчас полный тупик (это я вам как профессиональный онтолог говорю), от произнесения слова "онтология" или даже "онтика" слаще не становится, получение их требует колоссальных затрат ручного (мозгового) труда, а результаты имеют очень узкую применимость. Нейроморфщики предлагают эти самые онтологии (для них это многоуровневые наборы фич) прекратить конструировать-программировать, они предлагают их учить и дальше с ними не разбираться (не давать имён каждой отдельной фиче, работать с безымянными фичами -- объекты онтологии перестают иметь осмысленные значимые имена, у них будут только "адреса в памяти").

На передний план выходит эпистемологическая терминология, в ней "обучение" и "коммуникация" даны в тысячах обличий -- так, уже сегодня в эпицентре проблема "подхода" (переноса метода) и "предобучения" в одной предметной области для последующего переноса знаний в новую предметную область. Известны термины learning to learn, sharing statistical strength, transfer learning, finetuning, domain adaptation, one shot learning -- и это разительно отличается от "классических" методов учесть неопределённость наших знаний о мире и неопределённость мира методами байесовской и частотной вероятности, используя констрирование-проектирование-программирование, например, вероятностные языки программирования (подробней в http://ailev.livejournal.com/1211950.html).

Этот крутой поворот от примата онтологии (обсуждения имеющихся в мире объектов) к эпистемологии (обсуждению метода, которым мы узнаём о мире) взрывает все текущие методы инженерии и науки, но как их пересобирать после этого взрыва -- пока непонятно, причём эта пересборка (как всегда это бывает) будет понята только сильно задним числом, будет ретроспективное придание смысла. Вот тут я подобрал немного ссылок на предмет этой пересборки: http://ailev.livejournal.com/1207563.html. Взрываться будет всё, и в крупных фирмах об этом уже озаботились (вот, например, статья CTO Autodesk, где он говорит про обучение САПР проектированию-конструированию, а не о классическом программировании generative design, как сегодня -- http://lineshapespace.com/how-generative-design-marries-nature-with-technology-to-bring-objects-to-life/).

Это означает, что все программы научных исследований и все программы инженерных работ отныне нужно писать по-другому, нежели раньше, но пока непонятно как. Будет конкуренция методов, плюс провал большинства таких программ, написанных сегодня.

Понятно, что текущие программы нейронета-из-НТИ этого не учитывают, они учитывают опыт традиционных исследований, традиционной инженерии.

3. Но пока непонятно что делать и как, нужно учитывать лучший опыт предыдущих лет. Этот опыт сводится по сути к двум режимам:
-- "финансовый холдинг" (делайте что хотите, только платите оброк -- делитесь прибылью. Можете назвать это "рэкетом", суть от этого не меняется: есть хозяин, ему нужно отстёгивать -- государство по праву сильного, владелец капитала фирмы по праву собственности). Важно, что хозяева (ладно, "стейкхолдеры") не вмешиваются в дела каждой отдельной производственной или научной точки, пока она прибыльна. Неприбыльные выбраковывают (продают, распускают, насилуют до закрытия), прибыльные доят (иногда досуха и они становятся неприбыльными, а иногда нормально -- и тогда они пухнут). Как сорганизованы между собой эти все точки прибыли и как они связаны с окружающей средой, хозяину не важно. Никаких "платформ", "модулей" и прочей инженерной работы, никаких "планирований" и "руления потоком" и прочей менеджерской работы. Только учёт и контроль собственности, покупка потенциально прибыльных точек (независимо от предмета их деятельности) и избавление от ненужных.
-- "производственный холдинг" (делайте не что хотите, а что скажут -- барщина на 100%). Тут важно, что все производственные точки представляют собой конвейер и хозяин его организует. По Голдратту, Lean 2.0 или ещё как с точки зрения менеджмента -- это неважно, важно что прибыль максимизируется не путём сбора её с каждой производственной или научной точки, а глобально по всему конвейеру. А поскольку конвейер должен выпускать качественный продукт, то ещё и системный инженер следит, чтобы в каждой точке этого конвейера были извне заданные правильные преобразования продукта, чтобы на выходе не получилось какого-то автомобиля с тремя колёсами из четырёх, зато с пятью радиоприёмниками в салоне.

Когда я думаю о предметной области нейровеба+глубокого обучения, я прежде всего думаю о необходимости собрать целевую систему, за которую потом можно получить деньги с потребительского рынка. Там нельзя пропустить какие-то части системы или иметь дубль каких-то других частей. Поэтому у меня примат мышления "производственного холдинга" -- часть технических платформ будет делать моя фирма сама, часть я буду покупать с рынка. Я становлюсь озабочен типовой архитектурой такой системы (см. моё видение этой архитектуры: интеллект-стек -- http://ailev.livejournal.com/1210678.html).

А вот надувающийся экономический пузырь (https://en.wikipedia.org/wiki/Economic_bubble) заставляет думать людей в терминах финансового холдинга, при этом близость денег людям сносит крышу. А близость государства сносит крышу ещё круче, там ведь пузырь и госфинансирование в одном направлении дуют.

Текущая программа нейронета-из-НТИ делает вид, что она занята "производственным холдингом" (говорит какие-то содержательные слова, строит какие-то роадмэпы), но кроме попытки сделать финансовый холдинг (его там называют "управляющая компания") там ничего пока нет.

4. Управлять или даже способствовать развитию какой-то обширной предметной области можно так:

а) честно сделав финансовый холдинг: обычный венчурный капитализм, и даже просто -- "обычный капитализм", и не нужно тут никаких приукрашиваний. Госкапитализм просто "венчур" делает за счёт граждан-налогоплательщиков, и граждане имеют всё счастье участвовать в убытках. До прибылей дело обычно в госкапитализме не доходит: чужие деньги инвестировать в проекты это совсем не то же самое, что чьи-то собственные, качество выбора проектов другое. Шанс тут в том, чтобы подсесть долевым образом на чьи-то частные деньги -- тем самым больше шанс вложиться в что-то выигрышное. Именно этот процесс идёт в нейронет-группе кулуаров правительства (НТИ). И не нужно никакой тут риторики про "развитие" того-сего. Для развития "того-сего" нужно глубоко экспертно разбираться, что именно развиваешь, а не лупить по площадям. На уровне лаборатории или коммерческой фирмы это ещё возможно, а на уровне отрасли или страны (и уж тем более мира) -- нет.

Текущий нейронет-из-НТИ с его управляющей компанией примерно туда и катится, в финансовый холдинг. Это накатанный путь Роснано, РВК, Сколково -- и судьба будет такой же: громкий старт с супер-заявлениями про подъём с колен в рамках одной отдельной отрасли одной отдельной страны, потом трата денег на тех, кто лучше сорганизовался (с игнорированием инженерных и научных аспектов, а также синергии всех проектов друг для друга), потом попытка понять "что же всё-таки делать" задним числом, через пару-тройку лет. На втором такте через три-пять лет идеологические супер-заявления снимаются, и остаётся обычный финансовый холдинг: менеджерская рутина, никакой предметной и идеологической окраски, всё серо и буднично, но в разы более эффективно. В самих же предприятиях холдинга начинается какая-то реальная производственная жизнь (вместо показухи первого этапа, в которой эти предприятия должны были не столько "производить", сколько "развивать" что-то такое в отрасли фактом своего существования).

Нет шанса, что удастся сделать нормальную сеть самых разных организаций, координирующих работу многих и многих компаний. Ибо это сложно, это система систем и её понимание выходит за пределы возможностей какого-то плотного "штаба". Инвест-фонд-акселератор сможет вложиться только на самых верхних уровнях интеллект-стека: прикладном и когнитивной архитектуры (причём в когнитивную архитектуру, как стоящую на ступеньку ниже, будут вкладываться только самые отчаянные). От этих двух уровней хорошо виден путь к потребительским деньгам и рынкам. А вот на остальных уровнях стека путь денег потребителей к ним просматривается с трудом, они инфраструктурны, и работа над ними обычно идёт внутри каких-то крупных бизнесов или университетов, и их координация и поддержка устроены по-другому, через многочисленные фонды (см. http://ailev.livejournal.com/1203522.html), а также консорциумы по стандартизации и промышленные консорциумы -- ключевое слово тут "консорциум", как площадка для объединения усилий явных конкурентов. Режим coopetition, классика жанра.

б) честно построив коммерческое предприятие, получив результат. Если частная компания -- то сделав Гугль, построив поиск-всем-поискам-поиск. Это и будет развитие интернета. Или сделав SpaceX, завод по производству дешёвых и надёжных ракет. Это и будет развитие космонавтики. Если это госкапитализм, то это должна быть госкорпорация, которая должна немедленно прекратить быть министерством (что не получилось ни у одной из российских госкорпораций, кстати) и демонстрировать массовый выпуск того самого "развиваемого" -- хотя именно у госкорпораций это получается хуже, чем у частников, и поэтому от госкорпораций многие честные политики стараются избавляться в цивилизованном мире. Хотя даже в цивилизованном мире чиновники стараются эти госкорпорации сохранить, это же их и их детей кусок хлеба с маслом. Вообще, с госкорпорациями всё плохо: ни одна из них ничего не "развивает", они обычно только "обеспечивают" (и именно поэтому проигрывают постоянно в конкуренции) -- почувствуйте разницу.

Это точно не про текущий нейронет-из-НТИ. Ибо нужно сосредоточиться и сказать, какой продукт будет сделан. А потом сделать этот продукт. Сейчас тактика -- "всем сестрам по серьгам", никакой фокусировки на результате.

в) сделав сверхпроект, зримый реальный результат. Типа проекта Манхэттен, который показал результат, подорвав Хиросиму и Нагасаки. Или чисто театральный проект Аполлон, который сделал театральные прогулки человека по Луне. С другой стороны, частный бизнес тоже вполне такие проекты делал -- взять хотя бы The Mother of all Demos (https://en.wikipedia.org/wiki/The_Mother_of_All_Demos). Или IBM с победой IBM Watson на конкурсе Jeopardy! Не нужно быть государством для таких прорывов.

В чём "развитие" в этом случае? В прямом доказательстве, что что-то уже свершилось, существует. Театр, пиар.

Текущий нейронет-из-НТИ обсуждает возможные театральные постановки и гладиаторские бои-для-народа, но это явно не мейнстрим обсуждений. В принципе, там можно было бы сделать проект "железный аватар" -- по мотивам "Аватара" был слеплен проект 2045, а по мотивам "Железного человека" можно добавить туда современности. Итого можно было бы унаследовать какие-то уже известные ходы из проекта 2045 и добавить нейросвежатинки. Из всего тела (оставим полное тело робототехникам, у них там своя пьянка в НТИ) оставим нервы (мозг, спинной мозг, периферию вплоть до снятия сигнала из датчиков и передачи сингнала актуаторам). Вместо физического пространства (тело вполне может отставать) используем виртуальное -- будем плодить нейроботов, вместо замены личности сделаем помощника (Cortana и Siri уже делаются и работают, нужно будет сделать что-то не хуже, это и будет "развитие" а не повторение-погоня за лидером). Далее демонстрация народу и торжественный роспуск за прекращением финансирования.

Ну, из участников проекта кто чему научился, может торговать дальше, но это уже неучитываемая выгода (в том же проекте Apollo довольно много абстрактно интересных технологий были просто забыты за десятки лет с тех пор -- никому абстрактно интересные технологии конкретно не пригодились. Никто и не скрывал цели проекта Apollo: показать этим русским, где гордость американского народа. США отнюдь не империя добра, социализма там хватает тоже). Деньги списываются по статье "народные праздники" и "государственная гордость". Обоснование путём предъявления результата и риторики "мы за ценой не постоим, не все результаты меряются в деньгах". Раньше выставляли народу бочку пива, а теперь Олимпиаду, Крым, Нанотехнологии и Нейронет.

Так что этот театральный вариант "праздника для народа" должен рассматриваться не по научной или производственной, а исключительно по идеологической линии, как Олимпиада. Оно было бы для НТИ естественным и понятным в организовывании, а стоило бы даже дешевле Олимпиады. Странно, что дело ещё не полностью потекло в этом русле и этот пусть обсуждается только в кулуарах кулуаров правительства, а не в самих кулуарах. И да, что потом из обсуждений в кулуарах правительства (где есть ещё живые люди) останется после прохождения через само правительство -- этого вообще нельзя предугадать.
post comment

Парадигмальный вентилятор уже работает [04 Sep 2015|07:48pm]
Как раз для гиковской пятницы вечера: свежий наброс на парадигмальный вентилятор: текст Neural Networks, Types, and Functional Programming, https://colah.github.io/posts/2015-09-NN-Types-FP/ (ага, deep learning это второе пришествие функционального программиования, только оно само об этом не знает ещё). Representations correspond to types. Дьявол, да! Типы это про онтологию, онтология из именованной становится набором параметров, вместо имён адреса, на передний план выходит эпистемология -- как их получают, а не каковы сами эти типы (я об этом говорил в пункте 2 http://ailev.livejournal.com/1213434.html). Осталось только понять про "распределённые типы" (недаром из школ по deep learning первым же пунктом выносят the need for distributed representations. "During his first talk, Yoshua Bengio said “This is my most important slide”" -- http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summer-school/).

В Reddit обсуждают этот наброс тут: https://www.reddit.com/r/haskell/comments/3jiqcf/haskells_map_fold_zip_and_their_deepneuralnetwork/

Там же в Reddit поминают, что в Rosetta Stone (http://math.ucr.edu/home/baez/rosetta.pdf) теоркатегорщики генерализуют "program : type" and "proposition : type" to "physical process : physical system", "morphism : object", and "cobordism : manifold".

Сам Colah физической парадигмы не предусматривает, а зря (я писал о ней в "физика процессов эволюции и deep learning", http://ailev.livejournal.com/1197148.html).

Если сюда добавить семинар "Когнитивные вычисления: интеграция нейронного и символического подходов" в декабре 2015 (http://www.neural-symbolic.org/CoCo2015/), то мировую вакханалию можно считать успешно стартованной. Про то, что reasoning теперь не только логический, но и нейро, семинар рядом. И вообще, названия тамошних "семинаров рядом" (их тьма) вдохновляют -- https://nips.cc/Conferences/2015/Schedule?type=Workshop. Как всегда, это только сегодня все спохватились, а семинары по нейро-символической интеграции для знающих людей идут с 2005 года (http://www.neural-symbolic.org/).

Парадигмы уже успешно ломаются. Так, в лингвистике с "молекул-слов" быстро-быстро акцент переходит на "атомы-буквы", и кто тут не сориентировался, тот проиграл. То в одной ситуации, то в другой это даёт улучшение качества, например, в ситуациях с переводом редких слов, http://arxiv.org/abs/1508.07909.

Ещё мне нравится, что начали появляться работы типа "обучение на лету на вечной обучающейся машине" (http://arxiv.org/abs/1509.00913), где можно не только познакомиться с идеями Perpetual Learning Machine (работа на тему памяти в глубоком обучении, с архитектурой отличной от LSTM, предложенной ещё в 1997 году), но и прочесть acknowledgement, где написано: "автор делал эту работу по выходным и был поддержан женой и детьми". Жена и дети -- лучший "институт развития" для науки. Мимо всех форсайтов.

При этом обзоры типа AI и the Future of Business пытаются что-то в этой ломке основ спрогнозировать -- http://www.zdnet.com/topic/ai-and-the-future-of-business/ (спецвыпуск с кучей отдельных обзоров. Традиционно от "прогноз: в 2016 году больше $2млрд. продаж будут осуществлены исключительно мобильными цифровыми помощниками", т.е. Siri, Cortana и подобными, до "34% боятся искусственного интеллекта" потому как Skynet и потеря рабочих мест). Это скука, это будни цивилизации. Вот очередное переобустройство всего корпуса человеческого знания -- вот это редкий праздник. Даже онтология из путеводной звезды и "нашего всего" отодвигается в сторону восходящей звездой вечно бывшей в загоне гносеологии-эпистемологии (http://ailev.livejournal.com/1211950.html про learning to learn и пункт 2 в http://ailev.livejournal.com/1213434.html про смену типа вопрошания к миру -- "обучение" и "коммуникация" становится ведущей парадигмой, сменяя метафизическую парадигму "открытия истинной онтологии").

Говорят, парадигмы вымирают только вместе с их носителями. Не знаю, не знаю, времена ведь меняются. Большой Парадигмальный Вентилятор включился, и грядёт массовая продувка (а для особо упорных -- промывка) мозгов.

Вы ещё не опоздали сделать свой наброс на этот вентилятор. Поучаствуйте в празднике, не стойте в сторонке. Входной барьер низок, институт жены и детей вас поддержит. Приятных выходных!
3 comments|post comment

Наука и инженерия: пример с учёными и инженерами данных [04 Sep 2015|08:41pm]
Соотношение науки и инженерии важно -- одни что-то изучают, другие что-то делают. Нельзя изучать, не делая. Нельзя делать, не изучая. Но чтобы разобраться, нужны хоть какие-то различения. Можно сколько угодно говорить, что учёные и инженеры принципиально друг от друга не отличаются (не различать basic и applied research, замешивать науку и "технологию" в единое целое STS -- https://en.wikipedia.org/wiki/Science,_technology_and_society), это особо не продвигает.

Интересный был бы кейс про бурно растущую область работы с данными: появление отдельно учёных данных (data scientists, например http://www-01.ibm.com/software/data/infosphere/data-scientist/) и инженеров данных (data engineers, http://insightdataengineering.com/Insight_Data_Engineering_White_Paper.pdf, график роста числа постов вакансий инженера данных на 400% за три последних года -- http://insightdataengineering.com/).

Отличие вполне понятны: одни идут из аналитиков-математиков (аналитики только смотрят, ничего не делают. Хотя им часто записывают роль "предлагальщиков всего хорошего". Понятно, что учёные тоже только смотрят, ничего не реализуют). Другие идут из программистов, хотя речь идёт не столько о программах (но и о них тоже), сколько о структурах и потоках данных -- которых не было до начала работы инженера, и которые должны появиться после его работы. Везде оговорки, что учёные и инженеры данных работают необязательно с большими данными. Просто с большими данными уж совсем нельзя обойтись без этих специализаций: одни должны эти данные создать в доступной для запросов форме, а другие должны правильно эти данные обработать -- и догадайтесь, кто там будет данные создавать, хранить, накапливать и представлять всяким разным заинтересованным в этих данных для изучения, а кто будет эти данные изучать (но не менять, кстати. Смотреть, анализировать. Относиться к данным платонически). Кто будет аналитиком, а кто синтетиком. Кто будет инженером, а кто учёным. При всей перепутанности и взаимосвязанности этих деятельностей.

Какой основной вывод? Наука втягивается в бизнес на те места, где раньше были аналитики. Аналитики начинают понимать, что их "предлагательство изменений" как инженерная функция дутая, и накидывают себе пару звёздочек на погоны, становясь "учёными", специализируясь на понимании и компактном описании устройства сложного мира. А инженеры берут это компактное описание мира, пользуются этим пониманием, и делают свои предложения по переобустройству мира, доводя их до осуществления.

Хотя это отнюдь не все позиции, нужные для этого переобустройства. Кроме инженера и учёного нужны предприниматель, менеджер, инвестор и т.д..
5 comments|post comment

navigation
[ viewing | September 4th, 2015 ]
[ go | previous day|next day ]