December 6th, 2017

2019

lytdybr

Побывал сегодня на 101 "Котле идей", дайджест происходившего в 2017 году с "нейро" как искусственным, так и естественным. Вечеринка удалась сполна, В.Дунин-Барковский продолжает редкую традицию собирать в одной тусовке и нейрофизиологов и спецов по AI и даже AGI. А слоган "мозг думает как червь какает" -- это я надолго запомню. Ибо кишка нематоды оказалась вполне проявляющей свойства нервной системы, безо всяких нейронов. А с искусственными сетями два прорыва в неделю -- весь 2017 год, с января по декабрь, тут я более плотно отслеживаю. Узнал в кулуарах, что на Julia российские команды с AI вполне уже работают. По итогам этих кулуарных бесед понял, что мне нужно написать два больших поста: один про физические вычисления ("аналоговое машинное обучение", всяческие оптические технологии), а другой про заход на когнитивные архитектуры со стороны нептолемеевского спектра мышления, который был конструктивистски определён только где-то в последние лет пятнадцать, после демонстрации мощи коннективистской парадигмы (универсальный аппроксиматор, вычислительно достижимый при глубоких архитектурах) через байеса к true формализмам. Ибо захода на когнитивные архитектуры со стороны интеллекта и мышления как формализации-деформализации я что-то не помню.

В учебнике сейчас 160 страниц, and counting. Есть тысяча и одна причина, отвлекающая от его написания. "И такая дребедень целый день: динь-ди-лень, динь-ди-лень, динь-ди-лень! То тюлень позвонит, то олень" (http://www.chudesnayastrana.ru/telefon.htm). Сейчас звонят не так часто, но часто пишут в мессенджеры, присылают письма, а ещё приходится выходить из дома и встречаться лично. Но у меня всё равно планы к Новому Году учебник закончить. А команда, выпускающая курс на "Курсере" (она, кстати, была поменяна на переправе месяца три назад) даже не знаю, чем занимается. Похоже, ничем. Последний срок публикации курса был в конце ноября, но вот уже и декабрь наступил.

Закрыл сегодня ведомость по студенческой группе онлайн-магистратуры техпредпринимателей МФТИ. Времени на них уходила тьма, ибо у них чат в slack, чат в telegram (и туда приходилось писать много ответов на вопросы, уточнений заданий), проверка их эссе по факту шла с короткими письменными рецензиями -- но этих рецензий-то было много! В итоге есть и отличники, есть и двоечники, есть и разные всякие посредине. Интересно, что половина группы предпочла смотреть видео курса по нескольку раз, а половина группы -- читать учебник. Результаты же показали при этом примерно одинаковые, они больше зависели от инженерного опыта. Что меня удивило в этой группе, так это добровольная попытка почти половины студентов отмоделировать что-то в архимейте. С другой стороны, вся группа по факту получает второе высшее, есть даже кандидаты наук, почему бы им не воспользоваться моделером? Тем более что за архимейт как дополнительный материал обещалось чуток поднять оценку. Остальное всё было примерно так же, как и в оффлайн-курсе. Шестикурсники же вышли на финишную прямую, с ними осталось одно занятие в следующую субботу. Проблема там одна: посещаемость и выделение достаточного времени на выполнение заданий. Как я понимаю, речь идёт не только о моём курсе, с другими преподавателями всё то же самое.

В субботу-воскресенье в Школе системного менеджмента прошёл курс Александра Турханова по системному лидерству, я на него из-за студентов не попал (но был на паре предыдущих), вот один из отзывов: https://www.facebook.com/groups/234341783638239/permalink/336146236791126/. Курс получился уникальный, я доволен чуть ли не больше, чем автор курса.

Вьюнош решал все эти дни задачи отсылок ЗФТШ МФТИ. Одна задача по физике осталась нерешённой: "При назначении пенальти в футболе вратарь занимает характерную стойку в воротах. Какой мяч, летящий над головой или низко над поверхностью земли, более опасный для вратаря?". Смысл задачи ни вьюношу, ни мне, ни жене остался непонятен. Дальше пошли исследования. Жена нашла в Сети даже какую-то диссертацию про то, как вратарь должен принимать мяч при пенальти. Трудно в обоих случаях (а практический ответ связан с "верхом" только косвенно -- наиболее трудный мяч в левом верхнем углу ворот). Были даже поставлены эксперименты: жена кидала мяч вьюношу и поверху, и понизу, вьюнош стоял в этой самой стойке и признал, что одинаково трудно, вывод совпал с тем, что давался в диссертации. А ещё весь разговор в этих пенальти идёт вокруг подкруток мяча, что существенно влияет на траекторию. Как это всё связано с "физикой опасности на уровне девятого класса" -- неведомо.

В субботу побывал на кизомба-вечеринке "Посада-пати", где неожиданно для себя танцевал кизомбу три часа подряд -- туда пришло много знакомых из двух танцшкол, и я за эти три часа даже не со всеми успел потанцевать. А ещё я станцевал на этой вечеринке первый раз бачату (получив 20-секундный урок основного шага в начале трека) и даже сальсу (точно так же: 20 секунд на показ основного шага -- и вперёд!). Было такое впечатление, что я не слишком сильно отличался от разных других бачатящих и сальсящих пар, крутить партнёршу в разные стороны я всегда умел ))) С танцами как-то неровно на этой неделе, что-то я все занятия вечерами начал пропускать по совокупности причин. Нужно будет как-то наверстать прогулянное, а это означает, что для компенсации нужно ходить на вечеринки чаще раза в месяц. При этом на занятиях половину времени стоишь и слушаешь преподавателя, а половину времени танцуешь. На вечеринках же когда тоже танцуешь половину времени, а половину времени сачкуешь, а когда и сачкануть не дадут -- тогда нагрузка вдвое от той, что на занятиях. Социальные танцы, чо.
2019

Искусственные Страдивари для скрипки Энгельбарта

Очередная важная работа по лини "компьютерной революции, которая ещё не началась" (Алан Кей уточнил, что она начнётся, когда новые программы не столько будут автоматизировать работу людей, сколько помогать людям думать и быть творческими новыми способами): https://distill.pub/2017/aia/, Using Artificial Intelligence to Augment Human Intelligence.

Текст довольно густой, он очень близок к моим недавним рассуждениям про спектр мышления (https://ailev.livejournal.com/1390318.html, https://ailev.livejournal.com/1391038.html) но базируется в парадигме внимания к паттернам/репрезентациям/важному-в-модели/метамоделям/viepoints между разными уровнями мышления и понятию генеративности по этим паттернам. Паттерны тут по факту "фичи" в machine learning (которые выучиваются, а не задаются -- и они же latent variables, потому как в GAN нет языка "фич", а язык encoders-decoders), обнаруживаются машинно, но затем встраиваются в моделер -- и у человека появляется новая интуиция в терминах этих компактных репрезентаций/viewpoints. В этой новой интуиции и фишка. Хорошая репрезентация -- это которая удивит чем-то новым, которое в ней становится известным про моделируемый кусок мира. То есть язык "удивления" будет очень симпатичен для LW-тусовки. И этот же язык "оптимума удивления -- не меньше, и не больше" симпатичен для теорий креативности и интереса Юргена Шмитхубера и разных других похожих (я делал некоторые обзоры в http://ailev.livejournal.com/1293469.html и http://ailev.livejournal.com/1297969.html). Важно, что речь идёт не о просто symbolic variable binding, например по пути коннективизации онтологической инженерии http://ailev.livejournal.com/1283541.html. В http://ailev.livejournal.com/1284038.html -- я писал в связи с теоркатегорной композиционной распределённой семантикой, что "ключ к созданию хоть как-то думающих информационных систем -- это гибридизация в них минимально двух (а лучше больше) механизмов: символистского (формального) и коннекционистского/распределённого (непрерывного)", а сейчас вот обсуждаем "спектр", то есть множество разных механизмов с репрезентациями между ними.

Когда будете читать, обязательно вспомните про CAN, creative adversarial networks (удивительно, почему их там не помянули, я писал об этом в https://ailev.livejournal.com/1374921.html. Про скрипку Энгельбарта подробней у меня в "никто не хочет учиться играть на XYZ" http://ailev.livejournal.com/1158826.html и "компьютеры в помощь крутым перцам: не мейнстрим" http://ailev.livejournal.com/1240994.html. Собственно, разбираемый текст предлагает считать, что скрипку Энгельбарта всё одно нужно делать, но делать её должны даже не сами люди, а те самые искусственные интеллекты. Создание искусственных Страдивари для скрипки Энгельбарта и будет содержанием "компьютерной революции". Моделеры, viewpoints которых задаются ИИ, но интуиции по пользованию этими моделями потом появляются у пытливых простых смертных, не боящихся учиться играть на скрипке. Статья по факту говорит, что ИскИны должны порождать новые когнитивные режимы, то есть порождать новую рациональность -- новые способы порождения всё более актуальных и точных моделей мира. Актуальненько для "искателей пострациональности", компьютер им в руки -- и вперёд!

Про то, что желающих попроще (в упомянутой статье о них говорится как о желающих user friendly интерфейсе в традиционном смысле) можно иногда и послать подальше, я писал тут, то есть я сам не открещиваюсь от лагеря последователей линии Kay и Engelbart, хотя и признаю маргинальность и нишевость этой линии: https://ailev.livejournal.com/1385867.html. "- Вы полагаете, всё это будет носиться? - Я полагаю, что всё это следует шить!" (http://www.karaoke.ru/song/4220.htm).

Хотя придут критики и скажут, что на этой сделанной Страдивари-Искином скрипке Энгельбарта потом будут играть не люди, а тоже искусственные интеллекты. Ну, пусть играют, это не жалко. У этих интеллектов будет свой кайф, у меня (не факт, что ко мне присоединится очень много других людей) свой, у потребляющих user friendly интерфейсы "любителей попроще" свой кайф. Ничем не отличается от сегодняшней ситуации, где каждый занимается чем-то своим интересным, практически не пересекаясь с остальным человечеством.

Захотелось ещё раз поглядеть, что нового у Саймона Колтона с его computational creativity -- http://ccg.doc.gold.ac.uk/simoncolton/, хотя там какой-то застой. Я писал про его манифесты ещё в 2011 году: http://ailev.livejournal.com/902173.html, и там про эти же паттерны/репрезентации я писал как про грамматики. В этом тексте 2011 года я писал про работы типа CAN -- сочинение стилей, причём с приноровлением овладения этими стилями к способностям учеников. Та самая "не очень большая новизна". Как всегда, в 2017 году всё реализовалось, но иным способом. В 2011 году я писал "танцы ведь -- это тоже грамматика", а теперь мы знаем, что нейросетка парсирует текст на естественном языке много лучше, чем какие-то грамматики. Коннективистская модель в этом плане много лучше грамматики, но находится в разы ближе к интуитивному концу спектра мышления. Танец в этом плане оказывается ближе к неухватываемому грамматикой языку, репрезентацией ещё более неухватываемых языком ситуаций -- "мысль станцованная есть ложь".

И, конечно, есть ещё линия на новизну и эволюционность: против целей http://ailev.livejournal.com/1254147.html, моя космонтика http://ailev.livejournal.com/1268678.html. Ибо это "удивление", линия на поиск нового -- она сама по себе важна.

Нужно как-то эти парадигмальные сдвиги, это state-of-the-art мировоззрение собрать в кучку да изложить последовательно, поделиться пониманием. Ибо в разных языках, в разных тусовках появляются очень похожие мысли про мышление и творчество, это нужно как-то гармонизировать и компактифицировать, дать карту происходящего -- хотя бы для того, чтобы хотя бы ненадолго не чувствовать себя потерянным в этом мире стремительных изменений. Форма такой фиксации уже становится понятной: передача понимания происходит в виде учебного курса.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/groups/771940449578453/permalink/1324974394275053/