?

Log in

Лабораторный журнал
 
[Most Recent Entries] [Calendar View] [Friends]

Below are the 20 most recent journal entries recorded in Anatoly Levenchuk's LiveJournal:

[ << Previous 20 ]
Friday, February 5th, 2016
11:05 pm
В Новосибирске -- уже два дня
Еда тут совсем не московская, я наслаждаюсь. Например, в студенческой столовке ел сегодня "горошницу с луком" -- вкусно!

До 18 часов системный подход и студенты (с маленькой долей руководителей проектов), а после 18 часов посиделки по машинному обучению. Это счастье, что я успел сделать доклад Machine Learning Engineering до отъезда -- тут эти слайды крепко пригождаются и в работе с магистрами, и в вечерних семинарах. Кажется, сегодня я таки сумел понять, что спрашивали меня новосибирцы последние три года про "нетьюринговские вычисления на тьюринговских машинах" -- ответы нашлись в работах по ссылкам на слайде 29 про аппаратуру для вычислений тут -- http://ailev.livejournal.com/1245043.html. Там оказалось много самых разных вопросов (например, почему мы верим симуляциям физических систем, которые сделаны на тьюринговских машинах; почему многослойные bitwise сетки оказываются выразительными несмотря на их убогость, как связан "универсальный аппроксиматор" и моделирование и т.д.). И на разные вопросы отвечают разные работы с этого слайда (ну, или эти работы помогут вопросы уточнить).

В первый день была бурная дискуссия про системную инженерию и ВПК (промышленность по производству орудий убийства). Очень много студенческих работ, которые посвящены созданию орудий убийства, руководителям проектов тоже политика (да и политэкономия) не чужда, поэтому страсти кипели. Что и говорить, кому война, а кому мать родна.

Много вопросов было по вопросу ненаучности инженерии (повторюсь: у меня в учебнике раздел "наука и инженерия" содержит два подраздела -- "инженерия научна" и "инженерия не научна". Учебник лежит тут: http://techinvestlab.ru/systems_engineering_thinking, и не будет большим секретом ткнуть в место, где лежит правильная книжка Билли Коэна про разные определения инженерии (в том числе про "инженерию как прикладную науку", стр.85): http://bookzz.org/dl/1244348/f9f05c

Очень много вопросов по проблемам понимания естественного языка (NLU -- natural language understanding) в распределённых представлениях. Я рекомендую всем две работы Kyunghung Cho:
-- лекционные заметки курса Natural Language Understanding with Distributed Representations (http://arxiv.org/abs/1511.07916)
-- слайды new territory of machine translation (https://drive.google.com/file/d/0B16RwCMQqrtdRVotWlQ3T2ZXTmM/view)

Ещё можно взять A Primer on Neural Network Models for Natural Language Processing от Yoav Goldber: http://arxiv.org/abs/1510.00726

Из новенького: сформулировали "правило почтальона": при определении целевой и обеспечивающей системы стараться не перескакивать через ступеньки адресации. Скажем, я говорю про стул напротив доски в круглом зале третьего этажа Николаева 12, Новосибирска, Новосибирской области, РФ, планеты Земли, Солнечной системы, галактики Млечного пути, нашей вселенной. Формально я могу сказать, что использующая система стула -- планета Земля, или даже Млечный путь. Но это как-то неправильно. Если я понимаю, что использующей системой для маленькой жестяной коробочки служит что-то соразмерное масштабу области, то тут явно пропущена какая-то система промежуточного между ними уровня, и даже не одна такая система. Очень полезно при этом поинтересоваться, откуда приходят основные стейкхолдеры, и какая у них система -- пропущенный уровень быстро находится.
Wednesday, February 3rd, 2016
12:50 am
Доклад по инженерии машинного обучения на DeepHack
Доложился сегодня по инженерии машинного обучения (machine learning engineering") в рамках научной школы хакатона (http://qa.deephack.me/).

Слайды вот (http://www.slideshare.net/ailev/alevenchuk-machine-learning-engineering):


Видео вот (https://youtu.be/OYwZ0PIsVJE):


Основные темы, которые вошли в доклад:
-- новый вид инженерии: инженерия машинного обучения (как связана с другими инженериями, как ей учить, как она связана с наукой, почему важно иметь самоназвание)
-- инженерия машинного обучения как проблематизатор всех остальных инженерий
-- какие эвристики можно тащить из других инженерий в машинное обучение (учитывая то, что значительная часть инженерных знаний в инженерии машинного обучения плохо применима)
-- интеллект-стек и возможные отношения инженерии систем машинного обучения с инженерией когнитивных систем

На слайдах много ссылок, но в slideshare сами слайды не кликабельные. Так что я советую cut/paste эти ссылки со страницы http://www.slideshare.net/ailev/alevenchuk-machine-learning-engineering -- там внизу страницы есть дамп всего текстового содержания слайдов.

Я читал этот доклад на английском языке, разве что обсуждение и ответы на вопросы (с 1'34" -- последние 25 минут) были по-русски. Увы, на видео показывают только слайды. Английский мой был совсем ужасен, значительную часть содержания я добавлял жестами -- тем, кто был в аудитории очно, наверняка всё было понятней, чем при прослушивании текста на фоне слайдов ;-) Может быть, это была ошибка в выборе языка рассказа, ибо по-русски я бы рассказал всё в разы интересней и точней. В аудитории была всего парочка англоговорящих, но я подумал и о тех людях из самых разных стран, которые придут потом смотреть видеозаписи (в том числе подумал и о том, что вряд ли они что-нибудь из рассказа поймут. Хотя слайды, наверное, прочтут).

Обратная связь, которую я получил: "машинное обучение как деятельность, да ещё и "с высоты птичьего полёта" ещё никто не описывал". Да, я знаю, это и было целью моей методологической и архитектурной работы. Парочка человек сказала, что наконец-то им стало понятно, чем это они таким занимаются. Это и была дизайн-цель доклада: дать карту довольно обширной местности самых разных деятельностей и их артефактов, где отдельные люди и команды могли бы определить своё место в научной и/или инженерной кооперации. Это был материал для самоопределения участников хакатона. Об этом и говорит последний слайд -- нельзя же объять необъятное и растечься везде тонким слоем, всё равно ведь придётся определиться, на чём сосредотачиваться:
Tuesday, February 2nd, 2016
1:32 am
Февральские учёбы
2 февраля лекция в школе на DeepHack (Machine learning engineering), с 20 часов будет стриминг тут: http://www.youtube.com/watch?v=OYwZ0PIsVJE

4-6 февраля трёхдневное погружение по системному мышлению со студентами межвузовской магистратуры Новосибирска (http://rcnso.org/event/obrazovatelnaya-sessiya-anatoliya-levenchuka-g-moskva).

11-12 февраля закрытая двухдневная учебно-проектная сессия с одним из клиентов.

14 февраля первый день "Как найти свою систему среди чужих" из шестидневного открытого марафона по стратегированию в Школе системного менеджмента (http://system-school.ru/event/kurs-treningov-sistemnogo-mshleniya-sistemny-menedzhment-i-strategirovanie-2016-02-15-2016-01-25/).

24 февраля первое занятие семестрового курса "Системноинженерное мышление" в межвузовской магистратуре кафедры технологического предпринимательства (МФТИ, МИФИ, МИСиС).
Monday, February 1st, 2016
12:26 pm
Об разделение труда и автоматизацию
Не нужно путать разделение труда (профессиональное-компетентностное, позиционное по отношению к деятельности -- качественное) и разделение работ (менеджерское, деление работ по рабочим станциям: людям и станкам -- количественное). Если в мануфактуре разнорабочих распределили по куче операций и получили результат от инженерного менеджмента -- это разделение работ. Разделение работ даёт главным образом количество продукта при примерно том же качестве, разделение труда -- прирост качества (ибо разные компетенции людей становятся глубже, можно проработать лучше разные аспекты целевой системы и детали этих аспектов, основываясь на более глубоком о них знании) и ничего не говорит про количество.

Я считаю, что разделение труда должно быть интересно главным образом образователям: оно строится не вдоль линии разделения работ, а вдоль линии разделения труда. Поделился труд в очередной раз -- нужно менять образование, чтобы оно ему соответствовало. HR службы, как корпоративные образовательные подразделения тоже могут быть озабочены изменениями в разделении труда. Но обратите внимание: разделением труда сознательно невозможно управлять -- оно "становится", наподобие рынков. Конечно, при "становлении" чего бы то ни было возникает разговор про "роль личности в истории" -- но всё равно дохлое дело говорить, что "такой-то поделил труд вебмастера на труд программиста бэк-энда, программиста фронт-энда, спеца по UX, контент-менеджера и т.д.", как и дохлое дело говорить "такой-то создал рынок ценных бумаг".

Это разделением работ можно управлять, каковая задача и есть задача менеджера. Есть работы (разные, с учётом разделения труда и их не слишком много, они "локальные"), их нужно как-то оптимально распределить по небольшой кучке людей (если по большой толпе малознакомых людей, то опять же другие механизмы -- рыночные, "распределённые", коннекционистские).

Для меня разговор о разделении труда не самый продуктивный, ибо разделение труда можно понимать, но его нельзя задавать. Как-то не очень деятельностно получается, хотя рай для аналитиков: это разделение труда вечный источник новостей, за огнём, проточной водой и углубляющимся разделением труда можно наблюдать вечно.

Для меня главным объектом является автоматизация -- сдвиг труда с людей на не-людей. Решение о ней принимается осознанно, и хорошо придуманная автоматизация немедленно влияет на разделение работ в местах её использования, но опосредованно и на разделение труда -- она перераспределяет труд из автоматизируемых предметных областей в саму автоматизацию как труд. Если мы заменяем лопату экскаватором -- то труд перетекает из землекопства в инженерию, металлургию, топливную промышленность, и даже экскаваторщиков. И, конечно, автоматизация коренным образом меняет разделение работ -- работы на каждом конкретном производстве разделяются (т.е. работы организовываются) совершенно иным образом при их автоматизации. Автоматизация влияет и на качество, и на количество выходного продукта.

Так что я полностью согласен с вращением земли вокруг Солнца, Солнца вокруг центра Млечного пути, углублением разделения труда -- но занимаюсь главным образом тем, где могу повлиять локально и существенно: автоматизацией. Каждый проект автоматизации локален, как сделка на рынке. Но каждый новый тип проекта автоматизации вносит вклад в ситуацию разделения труда, как каждый новый тип сделок вносит вклад в ситуацию рынков. Люди делают проекты автоматизации и сделки, а разделение труда и рынки при этом "становятся", затем радостно обсуждаются аналитиками и потом принимаются к сведению всевозможными деятелями.

UPDATE: Справочка по терминологии в http://ailev.livejournal.com/1177856.html (там так и называлось, "об разделение труда"). Поднимал я эту тему в http://ailev.livejournal.com/1068772.html, потом обсуждал связь менеджмента, инженерии, науки, образования в http://ailev.livejournal.com/1069847.html, разводил объединение труда и объединение работ http://ailev.livejournal.com/1071172.html, эта тема была одной из важных на апрельской четвертой встрече Русского отделения INCOSE в Бекасово (http://ailev.livejournal.com/1072420.html), июльские мысли по терминологии разделения работ/разделения труда http://ailev.livejournal.com/1080678.html, миниатюра Райкина "Кто сшил костюм" (про низкоклассную команду из высококлассных специалистов) http://ailev.livejournal.com/1089503.html.

UPDATE: дискуссии в фейсбуке https://www.facebook.com/ailevenchuk/posts/10206372029753642 (видно всем) и https://www.facebook.com/Timurid/posts/10207978543522909?comment_id=10207981781643860 (эта ссылка может быть не всем видна).
Sunday, January 31st, 2016
5:45 pm
А также в области балета мы впереди планеты всей
В бальных танцах есть поговорка, что "хороший танцор танцует не на паркете, а над паркетом". Уже прошло 15% от 21 века. Так что эту поговорку воплотили в жизнь буквально, на уровне международных соревнований: танцуют теперь между полом и потолком, прямо в воздухе. Чемпион мира (http://www.windoor-realfly.com/en/windgames/2016/results#section_freestyle) в свободном стиле -- Лев Волков (https://youtu.be/AggXA3qj_Qo):


Так и представляешь: через пару лет завезут вентиляторы в Большой театр, через три года откроют отделения в балетных училищах, через пять лет на конкурсе балета с большим отрывом победит робот.
2:18 pm
Хакатон DeepHack открылся
Прямые трансляции лекций на хакатоне: http://www.youtube.com/channel/UCJ-6K2HGA0hpQytlSM7FBVQ/videos?flow=grid&view=2

Например, лекция Kyunghyung Cho начнётся сегодня, 31 января 2016г. в 19 часов MSK: http://www.youtube.com/watch?v=zwYKaq9RG9w

А прямо сейчас идёт официальное вступительное слово: http://www.youtube.com/watch?v=oba6sPNdeRY (и далее лекции до самого вечера).
2:01 pm
Элон Маск и нейроинтерфейсы нейронного уровня
Нейроинтерфейсы уже мейнстрим: о них начал говорить Элон Маск. Он заявил, что "brain computer interfaces at the neuron level has potential for intelligence augmentation": http://nextbigfuture.com/2016/01/elon-musk-identifies-electric-aircraft.html. А этот Вовочка "сказал -- делает", эти высказывания вполне могут оказаться прелюдией к каким-то его действиям. Он ведь интерфейс к компьютеру на нейронному уровне приравнял к проектам, которым хотел бы заняться, но пока времени не хватает, как Hyperloop. Он также помянул ещё парочку таких проектов: electric aircraft и genetics is thorny but is our best shot at many tough diseases.

Ход в российской группе нейронета был "сверху вниз":
-- в 2013 году было "не информация же по спайкам отдельных нейронов будет передаваться по нейронету? Но если нет, то что тогда?!" и далее попытки говорить о традиционной семантической интеграции при помощи онтологий (http://ailev.livejournal.com/1094141.html).
-- в 2014 уже было "неправильно говорить, что передаются какие-то "смыслы", "переживания", "мысли" -- нет, передаётся активность нейронов, данные нейронных сеток. Передаётся то, что не в сознании, вне сознания. То есть нейровеб не про то, чтобы "передать более богатую картинку и звук" (это делает интернет и фото/видеокамера с микрофоном") и даже "передать эмоциональный фон и кинестетику" (многократно усиленный и очищенный "язык тела", передающий "невербальную компоненту общения"). Нет, передаётся более низкоуровневая информация -- из той, которая используется в нейронных сетках, а не в "семантических" вычислителях, "онтологическая", "символическая", "осмысленная". Передаётся внесознательная, а не вышедшая на уровень осознания информация. Конечно, её можно будет скомпилировать, или даже вывести на уровень осознания в момент передачи, но можно этого и не делать" (http://ailev.livejournal.com/1142994.html). После этого пришло много-много нейрофизиологов и ушло много-много людей про мысли и смыслы. И только
-- в 2015 году появились люди из deep learning (и я сам к этому времени стал тоже "из deep learning") и склеили к сентябрю смысловой "верх" и нейроносигнальный "низ" (http://ailev.livejournal.com/1213434.html), окончательная сборка произошла к концу года (http://ailev.livejournal.com/1227614.html). Тема усиления интеллекта (причём сразу группового) тоже звучала, даже с замахом на повторение The Mother of All Demos: http://ailev.livejournal.com/1229950.html

А в 2016 об этом заговорил Элон Маск. Всё, мы мейнстриме. ;-)
Wednesday, January 27th, 2016
11:47 pm
Чемпион европы по Го продул компьютеру 5:0, в марте игра с чемпионом мира
Это очень крутая веха для машинного интеллекта: победить людей в Го на уровне чемпионов. Люди из DeepMind изнамекались, что у них в этом плане крутые новости. Теперь понятно, чего ждали -- публикации в Nature. Но самое приятное, что работал не уникальный заточенный под предметную область алгоритм, как в шахматах, а универсальный -- хитро устроенное глубокое обучение (машина училась играть в Го, в том числе играя сама с собой): http://www.technologyreview.com/news/546066/googles-ai-masters-the-game-of-go-a-decade-earlier-than-expected/ (вот официальный сайт Гугла на эту тему: https://googleblog.blogspot.co.uk/2016/01/alphago-machine-learning-game-go.html).

Нужно сказать, что тут жёсткое соревнование: только вчера Марк Цукерберг написал, что у него тоже идут работы по игре Го -- https://www.facebook.com/zuck/videos/10102619979032811/. Жёстче капиталистическое соревнование (competition, конкуренция) -- лучше всем потребителям продуктов и услуг, даже если это услуга "интеллект".

Машинный интеллект стремительно становится сверхчеловеческим, буквально в каждой задаче, за которую берутся. Больше задач -- больше интеллекта. Интеллекту совсем не нужно быть при этом универсальным, люди ведь тоже универсальны только потенциально, и до определённого предела. Я, например, совсем не умею играть в Го. И бегаю хуже любого мотоцикла. Так что я, конечно, царь природы, но только потенциально. То же относится к машинному интеллекту: он универсален потенциально, его каждый раз нужно дорабатывать и учить, как и человека. Но каждый раз это обучение происходит быстрее и быстрее. Каждый раз задачки-неберучки поддаются быстрее и быстрее. А с людьми всё уже много тысяч лет происходит с примерно одинаковой скоростью. Я отношусь к машинному интеллекту так же, как к мотоциклу и калькулятору: с ними я научаюсь бегать и считать с нечеловеческими скоростями очень быстро. Голенькому мне так и не снилось.

Вот и компьютеры, играющие в Го: с таким компьютером я выиграю у чемпиона мира. А без компьютера нет. Так что я выбираю симбиоз с компьютером, без него я неконкурентоспособен. А с ним мы ещё подёргаемся.
10:05 am
lytdybr
Смог сегодня знатный, впрочем, как и вчера (яркое солнце весь день, но Останкинской башни было совсем не видно), и так уже пару месяцев. Это означает, что промышленное производство и торговля наконец-то на подъёме -- самый существенный провал у них был летом и ранней осенью: я за последние 10 лет таких чистых пейзажей и яркой линии горизонта никогда не видел. Это мой такой экономический индикатор: в кризисы воздух чистый и в речках рыба появляется. Если воздух грязен и в речках промышленные отходы, значит экономическая жизнь на подъёме. Если природа девственно чиста, то это просто все умерли.

Домашняя ёлка потихоньку пилится и идёт на корм и точение зубов зайцу. У зайца от ёлки полное счастье, остаются только хорошо обглоданные палки, даже без мелких сучков. Ещё выяснилось, что заяц охотно кушает сыр Маасдам. Ёлка с сыром, хм.

Подписался на месяц бесплатного http://zvooq.ru (месяц пробный, потом нужно платить), подписанным выдают HQ звук. Вроде как HQ слушается получше. Вроде как. Может быть. Музыка всё больше и больше уходит в фон, так что не до смакования качества. Рассказали бы мне двадцатилетнему, как я буду относиться к музыке в далёком будущем, и сколько у меня этой музыки будет в доступе -- я б это счёл ненаучной фантастикой и долго бы злился, писал бы себе записки в будущее и расстраивался от разбазаривания и пренебрежения.

Пришёл спам: мне готовы организовать трёхчасовую персональную экскурсию на Серова, за 1500 рублей помимо стоимости билетов. Вежливо предупреждают, что выставка только до 31 января. Звонить Гюльнаре (Гуля). Вдобавок к Серову с выломанными дверями, палатками МЧС и полевой кухней, теперь ещё от него и нигерийские письма.
Sunday, January 24th, 2016
9:11 pm
lytdybr
Огромное спасибо всем поздравившим -- их случилось под двести человек по всем каналам! Никогда не думал, что я столь популярен! У меня традиция никогда не праздновать свой ДР, ибо невелико событие. Но проигнорировать его, как всегда, мне вчера не дали. Ну, спасибо за это! )))

Это первый пост с нового компьютера, переезд на XPS 13 2015 таки случился. Осталось только полтора экрана: один большой и один маленький самого ноутбука -- и, похоже, это будет до самого марта, пока не выйдет и не приедет в Россию штатная докстанция. Но работать стало всё как-то пошустрей, а главное -- понадёжней.

Мы вчера пообсуждали с друзьями, что вылет основного компьютера/смартфона/планшета приводит к существенной дезориентации и переадаптации, это же экзокортекс -- часть современной психики! Утеря прямого доступа к компьютеру или телефону -- это у тебя как часть мозга вынимают.

Можно утешать себя только тем, что я за эту неделю поглотил огромное количество информации и победил огромное число специфических админских проблем.

Но это (трансакционная, проектная) информация, не знания. Знания -- это когда информацию можно использовать в разных проектах, а тут решил конкретную проблему -- и можно про это решение забывать, я ж не сисадмин! Повторное использование этого сисадминского знания мной не-сисадмином не предусмотрено. Что для одного знания, для другого информация -- и наоборот. Увы, "развидеть" информацию не получается обычно. Информация разового использования притворяется "знаниями": человечья голова такая, что информация в ней накапливается наравне со знаниями, а иногда и лучше (ибо знания часто эмоционально нейтральны, а информация эмоционально окрашена).

У меня очень много совершенно бессмысленных и бесполезных на сегодня сисадминских знаний. Я даже знаю, почему и как случилось, что жёсткие диски обычно именуются с буквы С:, а не с A:. Для моего сына это уже загадка, он про C: учит как заклинание -- и дома уже нет ни одного компьютера, где я мог бы ему показать былую осмысленность этого заклинания. А главное, знание былой осмысленности именования с буквы C: SSD-дисков в новых операционках ничегошеньки ему в жизни не даст.
Saturday, January 23rd, 2016
1:55 am
lytdybr
Админский мой бубен продолжает стучать, работать толком не получается. Ничего, за эти выходные как-то нагоню.

В среду планирую делать на русском доклад "Инженерия машинного обучения" (а через неделю буду повторять это на хакатоне по-английски).

От друзей пришла посылочка со старыми моими фотографиями, а заодно едой южной домашней готовки. Жена так готовить не умеет, как бы не старалась: это нужно на юге вырасти, чтобы так готовить. Теперь две задачи: фотографии оцифровать и еду съесть быстрее, чем семья (ибо в кругу семьи ни в коем случае нельзя щёлкать клювом). А я вместо всего этого стучу в админский бубен!

Обсуждали сегодня системное мышление (в 100500й раз). Я считаю, что больше всего из разных знаний и умений оно похоже на высшую математику, хотя не все в этом со мной соглашаются:
-- непосредственной прибыли не приносит
-- лучше освоить в молодости, ибо в зрелом возрасте невозможно объяснить себе, зачем оно нужно.
-- освоить за сутки или даже за неделю нельзя. Нужно таки затратить год-другой, чтобы получить какую-то отдачу.
-- "математику уж затем учить нужно, что она ум в порядок приводит", а с приведённым в порядок умом можно заниматься тысячей других дисциплин (инженерией, физикой, программированием и т.д.).
-- кажется очень теоретической и оторванной от жизни дисциплиной, но многие и многие практики существенно от неё зависят: если не знаешь этой теории, то не будет нормальных других практик.

Отрок начал таскать мои рубашки. Я отвечаю ему тем же. У нас теперь семья unisize.

Люди удивляются, когда видят меня по скайпу в тельняшке. А я дома тельняшки ношу последние лет двадцать. Или даже тридцать. Зато вне дома галстук носил лет с двадцати пяти до буквально недавних пор разве что не в баню. Но уже где-то пару лет у меня галстук на выход случается не чаще раза в месяц. И это счастье. Общество медленно, но расстаётся с мундирами в их разных обличьях.
Thursday, January 21st, 2016
10:33 pm
Dell XPS 13 2015 -- висит груша, пока нельзя скушать
Админский бубен стучал в эти дни у меня без устали. Как я писал позавчера, подключение всех трёх внешних экранов на VAIO Z23 у меня приводило к зависанию. Постучал докстанцией по столу -- прошло. Утром началось опять. Итого: ноутбук с одним внешним FullHD экраном, а этого мне для работы маловато. Писать в ЖЖ ещё сойдёт, но вот презентации готовить уже неудобно -- по моей технологии слишком много окон задействовано на всех трёх экранах (обычно на одном экране я работаю со слайдами, на другом у меня открыт .pdf ридер с десятком книжек и статей, а на третьем экране браузер с полусотней нужных для дела табов. Экран самого ноутбука я почти не использую: глазки устают, и стоит этот ноутбук неудобно сбоку).

И тогда я купил машинку, на которую дружно показывали пальцем все владельцы VAIO Z23 как "достойную замену" -- это Dell XPS 13 2015, модель 9350-8293 (с FullHD матовым экраном без тачскрина) -- http://www.mvideo.ru/products/noutbuk-dell-xps-13-9350-8293-30024146#specification. Вес такой же, экран такой же (хотя на глаз чуть поприятнее), скорость такая же, память такая же, SSD такой же -- за четыре года ноутбукостроение недалеко ушло. Отличия в плюс:
-- примерно на три см короче по длине, на пару мм тоньше (при той же ширине). И блок питания поменьше.
-- заявлена поддержка внешних 2 экранов 4K или 3 FullHD. То, что мне нужно.
-- USB 3.0 портов два (а в прошлой машинке был только один).

Минусы:
-- дискретной графики нет совсем (в Z23 она была в докстанции), но я в игры не играю
-- нет портов VGA и HDMI (на Z23 были оба!), вместо них предложено пользовать USB Type C Thunderbolt 3.
-- нужно обживать машинку с нуля, но это разовая трата.

По долларам машинка стала вдвое дешевле, чем была VAIO Z23, но из-за выполнения всех блистательных планов Президента РФ и его команды по рублям она обошлась в примерно ту же сумму.

Реалии жизни: USB Type C оказался просто форм-фактором разъема. По нему может быть электроника Thunderbolt, DisplayPort, USB 3.1, и я встретил даже "просто питание" (для макбуков). Запутаться легко. Более того, на Савёловском рынке практически нет к нему переходников-адаптеров-кабелей для дисплеев, есть только переходники на USB и питание. Более того, каждый кабелёчек и переходничок там считается произведением электронного искусства, и какой-нибудь адаптер от Apple на HDMI+USB+USB-C-питание стоит аж 6500 рублей (это по дешёвке, ибо в re:Store за него просят уже 9тыс. -- и вообще, цены меняются сейчас ежедневно, сами понимаете). Была ложная идея, что этот адаптер каскадируется через USB-C. Нет, не каскадируется, в этом порту у него кроме питания ничего нет, проверено. Более того, через тамошнее HDMI не подключаются даже мониторы 2560*1600. И любые адапторы на этот формат стоят от 3тыс. рублей, поэтому ими предпочитают не торговать. Кабелёчки и переходнички превратились в существенную часть стоимости компьютера (с учётом всяческих скидок и бонусов компьютер в М-Видео обошёлся где-то в 90тыс. рублей, так что один трёхпортовый адаптер встаёт в 10% от стоимости компьютера, однопортовый в 5%). То есть бизнес модель меняется на "патефон и пластинки": единственный тип порта у ноутбуков будет этот самый USB Type C, универсальный и суперскоростной. Но вот дальше с вас снимут за подключение всей остальной периферии ещё одну стоимость ноутбука, а то и больше.

Итого: у меня сейчас два ноутбука один уже с одним внешним экраном, другой на неопределённое время ещё с одним внешним экраном. Форум владельцев XPS 13 2015 полон печали и ожиданий. Dell должен выпустить 28 января 2016 года док-станцию для этого компьютера (http://www.tomsitpro.com/articles/dell-type-c-thunderbolt-docking-stations,1-3094.html), там всё с дисплеями должно стать хорошо. Но когда эту станцию можно будет купить в России -- это тайна, покрытая мраком.

Ну, и можно купить один 4К дисплей с почти нормальным пиксельным шагом, чтобы не мучиться со многими дисплеями (http://4k.com/monitor/a-review-of-the-philips-brilliance-bdm4065uc-4k-40-inch-monitor/). Это ещё по нынешним ценам 60тыс. рублей (хотя уже не факт -- курс-то ежедневно меняется не в лучшую сторону!). Но есть 16 причин, по которым этого пока не хочу делать:
-- нет пороха (то есть я пока не нашёл переходник или адаптер или любое другое решение USB-Type-C на DisplayPort. Это всё нужно выписывать из Китая или Тайваня или ещё откуда-то, и не факт, что будет работать).
-- я как-то приспособился к трёхэкранной работе, и экраны стоят у меня по крутой дуге (я-то к ним близко сижу, не кино смотрю). Как оно будет с одним большим глянцевым дисплеем, который ещё и не нельзя покрутить-наклонить, я не знаю.
-- да и просто выкидывать уже имеющиеся дисплеи жалко, они ещё в моих глазах недостаточно морально устарели.

Переползать ли со старого обжитого (но с грозными подземными стуками и в любой момент готового развалиться) ноутбука на новый, или подождать ещё немного -- не знаю, ибо в обрезанной на пару экранов жизни мало что поменяется.

Так что -- висит груша, пока нельзя скушать. Будущее уже здесь, только из-за его неравномерной распределённости толку с него нет.

UPDATE: вот тут больше подробностей про мои приключения и эксперименты -- http://forum.ixbt.com/topic.cgi?id=17:52118-38#1198
Tuesday, January 19th, 2016
10:44 pm
lytdybr
В воскресенье пришлось проапгрейдить семейный компьютер: там сдох пятилетней давности SSD с операционкой. Теперь у меня дома первая Windows 10 появилась, но я особых отличий от Windows 7 там не заметил. Отрок убивается по пропавшим играм и их результатам по бессмертной схеме "Всё, что нажил непосильным трудом, всё же погибло! Три магнитофона, три кинокамеры заграничных, три портсигара отечественных, куртка замшевая… три куртки… И они ещё борются за почётное звание дома высокой культуры быта, а?" (https://youtu.be/1rxrwdSriBA).

Но ему в утешение перепала при этом апгрейде игровая мышь, ибо старую он довёл до состояния отваливания частей корпуса. Оказалось, что современная игровая мышь bloody RT7 warrior умеет исполнять кликовые макросы, которые грузятся прямо в память мыши. Дальше мышь отрабатывает эти макросы сама без специальных драйверов, и это вроде как "читить" в играх не называется. Я случайно включил там режим пулемёта, и долго удивлялся, почему мышь при одном нажатии вдруг выдаёт целую серию кликов. А это оказалась, не бага, а крутейшая фича -- впрочем, совершенно бесполезная. Смена старинной GeForce GTX 8800 на свежую 960 тоже оказалась нечувствительна, у нас требовательных к видео игр отродясь не бывало. Итого: потеряно ой-ой сколько времени на манипуляции с админским бубном в попытках восстановить хоть что-нибудь, но существенно к лучшему в жизни ничегошеньки не изменилось.

И тут же начала глючить графическая докстанция для моего VAIO ноутбука. Временное лечение помогло: выбивание из неё пыли и постукивание всеми углами об стол. Но вряд ли этого лечения надолго хватит. Тем более в ноутбуке SSD, и он наверняка уже тоже на ладан дышит, просто от старости. Исследование рынка показало, что ближайший интересный ноутбук это Dell XPS 13 9350-8293, который в Москве сейчас есть по 99900руб. во множестве мест (дискуссия о нём на последних страницах тут: http://forum.ixbt.com/topic.cgi?id=17:52118). А всё более интересное и новое (от трансформера ThinkPad X1 Yoga до удивительной машинки Razer Blade Stealth с полноценной графической картой в доке) отсутствует как класс и непонятно когда и по каким ценам будет.

Заодно поглядел, какие сейчас бывают 4К дисплеи. Из нормальных пиксельных шагов есть только 40" BDM4065UC, http://4k.com/monitor/a-review-of-the-philips-brilliance-bdm4065uc-4k-40-inch-monitor/, в Москве он сейчас где-то по 56000руб. (хотя во времена скачков доллара цены на вебсайте и реальные цены могут отличаться разительно).

И вдруг осознал, что фотографией я как-то перестал интересоваться. И все остальные в семье тоже Даже домашнюю ёлочку никому в голову не пришло сфотографировать, пока она не осыпалась -- а там уж поздно было. А ведь есть любопытные модели, типа Sony Cyber-shot DSC-RX100 IV (http://www.dpreview.com/products/sony/compacts/sony_dscrx100m4). Раньше я бы точно не смог бы пройти мимо такого. А сейчас смотрю, и никакого придыхания.

Пообсуждал немножко "целостность системы" в фейсбуке: https://www.facebook.com/elashkina/posts/1085280574827103, там хорошая подборка комментов -- показывает разнообразие взглядов на этот вопрос. Я знаю, что в политике, футболе и воспитании детей разбираются все. Нужно обязательно вставлять в этот список "систему", в системном подходе ведь тоже все разбираются.

Довольно много народу меня сегодня пытались поздравить с праздником. С трудом разобрался, с каким именно: Крещение. Моя точка зрения на это дело совпадает с кратко изложенной в https://youtu.be/q9RpiLSUNi0 (осторожно, там не слишком нормативная лексика. Но суть дела изложена вполне убедительно). Парной ссылкой к ней должна идти, например, http://hi-news.ru/research-development/padenie-religioznosti-ne-oznachaet-padenie-nravstvennosti.html
Sunday, January 17th, 2016
2:36 pm
Об робототехников
Я сообразил: "робототехника" это просто вид спорта. Робототехники это спортсмены, вершина карьеры спортсмена -- победа в соревнованиях (их в мире хватает), а продолжение карьеры может быть либо в чиновниках от спорта, либо чаще всего тренером. Тренер возглавляет очередной кружок робототехники, привлекает побольше юных робототехников, лучшие из которых становятся тренерами.

С промышленностью тут связь как в спорте: робототехники так же относятся к разработчикам киберфизических систем, как тяжелоатлеты к грузчикам, биатлонисты к рядовым пехоты и т.д.. То есть выступать на соревнованиях они могут, тренерствовать сочтут за честь, а работать в промышленности -- вряд ли.

Это я по мотивам дискуссии тут сформулировал: https://www.facebook.com/alx.kornilov/posts/1705097649701797
2:08 pm
Об проект NIST CPS Framework -- безопасность в киберфизических системах, сквозное рассмотрение
Проект NIST CPS Framework (http://www.cpspwg.org/Portals/3/docs/CPS%20PWG%20Draft%20Framework%20for%20Cyber-Physical%20Systems%20Release%200.8%20September%202015.pdf -- 227 страниц) ещё совсем не окончателен, но я таки выскажусь.

Появился он не от хорошей жизни: киберфизическими системами главным образом под именем "интернета вещей" (IoT) занялись в десятке разных организаций стандартизации. И NIST сообразил, что никакого общего интернета вещей не будет, если не смогут хоть как-то "одинаково" обсуждать самые разные киберфизические системы, опирающиеся на самые разные стандарты. И поэтому в основу там положили ISO 42010 и ISO 15288 (т.е. системный подход и системную инженерию) как средство потенциально договориться самым разным специалистам, самым разным инженерам и менеджерам, самым разным стейкхолдерам.

В NIST CPS Framework всё изложение выстроено как матрица между:
-- описаниями жизненного цикла ("грани", facets -- вместо "стадий" для набора практик жизненного цикла, т.е. activities and work products). Это позволяет обсуждать практики вне зависимости от времени их применения, и даже вне зависимости от системы, к которой они применяются (использующая, обеспечивающая и целевая системы, разные уровни системы).
-- описаниями различных аспектов (aspects, они же "сквозные интересы", cross-cutting concerns), группирующими описания более специфических интересов в рамках этих сквозных интересов. При этом интересы (в том числе сквозные) даже не ортогональны: в одних из них интересуются объектами других, это ничего.



Опора на stakeholder concerns как first class object очень правильна. В CPS Framework пытаются пройти по линии, намеченной Rich Hilliard в http://web.mit.edu/richh/www/writings/hilliard-AD-in-the-large.pdf -- разные "жанры" архитектуры (genres -- архитектура предприятия, системы, софта) для разных предметных областей (domains) можно различить, сравнивая основных стейкхолдеров и их интересы. Это прямая линия от ISO 42010, но редко проводимая в жизнь. Поскольку нужно было определять инженерию киберфизических систем в её отличии от других инженерий, определять киберфизические системы в их отличии от других систем, то были выписаны специфические интересы.

Как всегда, основные типовые стейкхолдеры не попали в схемы CPC Framework (меня тоже это всегда удивляло: интересы оказываются главнее, чем стейкхолдеры -- стейкхолдеры со временем меняются, типа как "вебмастер" рассыпается на десяток разных других стейкхолдеров, а интересы-то остаются!). Но зато типовые интересы составили костяк для всего изложения, позволяя обсуждать какие-то проблемы до того момента, как выбраны методы описания (viewpoints) и тем более даны какие-то описания систем в рамках этих методов. Ибо методы описания оформляют (frame) интересы, если нет интереса, то и описаний не нужно, и их методы тогда тоже не нужны. Это огромный плюс CPS Framework.

Что интересно, так это похожесть интересов для киберфизических систем на интересы для "просто системной инженерии" -- я думаю, это совершенно не случайно, ибо вся системная инженерия сейчас по факту занимается киберфизическими системами. Сам список интересов мне кажется очень полезным и нетривиальным: там аспекты functional, business, human, trustworthiness, timing, data, boundaries, composition, lifecycle. Обратите внимание, timing (всяческие синхронизации и описания "тормозов" -- подробно со страницы 116) представляет собой отдельный аспект со многими интересами!

Но вот если брать интересы какой-нибудь "инженерии предприятия" или "инженерии психики", или "инженерии [систем] машинного обучения", то можно будет видеть резкое изменение и типовых стейкхолдеров (хотя я не ожидаю тут глубоких прозрений) и типовых интересов. Так, в инженерии предприятий не принято говорить о "функциональности" предприятия или какой-нибудь manufacturability предприятия, а для инженерии машинного обучения важен интерес отсутствия переобучения/генерализации, в инженерии психики очень важен вопрос экологичности/безопасности для психики -- он формулируется совсем не так, как формулируются интересы безопасности для того же предприятия или киберфизических систем. Этот ход на выпячивание интересов при обсуждении классов систем, сохранение в явном виде знаний на уровне интересов, я бы считал положительным. Опять же, Rich Hilliard призывает иметь контрольные точки/вопросы для интересов в явном виде -- для чего интересы документировать, трассировать к ним все частные описания системы. В больших проектах это явное моделирование интересов необходимо.

В части множественности описаний -- безусловный прогресс! Для каждого интереса делается попытка назвать стандарты, которые могли бы оформить этот интерес (т.е. дать метод описания интереса). Такого развёрнутого систематического хода на concerns и от них viewpoint я ещё не встречал.

Очень хорош также ход на представление в виде "граней" (facets) практик жизненного цикла (activity+artifacts) по типу того, что был сделан в OMG Essence в виде area of concerns (при этом в CPS Framework грани ортогональны интересам!). Но там очень хитро:
-- концептуализация имеет дело с использующей системой (хотя в тексте говорится о "модели CPS"). По сути там развёрнуто описание инженерии требований как системноинженерной дисциплины.
-- воплощение (realization) имеет дело с воплощением CPS и её описаниями, начиная с архитектуры и мультифизических моделей. По сути, тут архитектура и все остальные инженерии, включая производство и даже эксплуатацию и вывод из эксплуатации.
-- обоснование (assurance) имеет дело с соответствием описаний и воплощения. Это проверки и приеёмки.

Для меня этот "треугольник" (который кривовато выводят из V-диаграммы) положителен тем, что впервые в явном виде все призывы "обратить особое внимание на V&V как системноинженерную дисциплину" был реализован. И это деление очень, очень близко к тому, что я обычно пишу про системную инженерию -- разве что "грань" системноинженерного менеджмента там пропущена, но она вошла по факту в realization (из которой сделали большую помойку, примерно по тому же принципу, по которому сейчас делают большую помойку в OMG Essence вокруг альфы "система").

С другой стороны, этот "треугольник" концептуализации-воплощения-обоснования крив. Например, при всех ссылках на ISO 15288 в CPS Framework не делается попыток различить работу с миссией/стратегией, потребности стейкхолдеров, требования стейкхолдеров и требования к системе. Это всё "концептуализация", слово requirements там обозначает и needs, и stakeholder requirements, и system requirements, и constraints. И ещё там вовсю используются non-functional requirements. Я понимаю, что хотелось подчеркнуть в "концептуализации" model-based conceptual design (http://ailev.livejournal.com/1160014.html), прединженерные стадии, но так уж получилось, что заодно туда криво засунули работы инженерии требований и даже кусок работы с архитектурой (ибо logical models с функциями компонент согласно CPS Framework как раз в концептуализации -- это они признают, что не потребности-требования, но функциональную декомпозицию и логические модели приписывают как "родственников"). А вот работа с мультифизикой и модульный синтез -- это уже "воплощение". То есть "концептуализация" -- это такой полупрозрачный ящик получается, а не "чёрный ящик". Но нужно приглядеться внимательней: там ведь влёгкую "logical models" могут оказаться не logical architecture!

И вообще, в явном виде инженерии системной архитектуры (центральная ведь практика!) не обнаружно: слово "архитектура" по факту не используется, в отличие от слова "требования" (которое, как мы помним, используется чрезвычайно широко).

Делается также стандартная ошибка выстраивания иерархий: разные уровни иерархии имеют разные названия, число уровней предписано. Например:
-- аспекты (aspects, хотя и говорят, что это "сквозные интересы", cross-cutting concerns) и интересы (concerns). Уровней всего два, названия у них разные, дальше невнятно говорят о декомпозиции интересов.
-- грани (facets), которые на самом деле практики (activities и их work products/artifacts, где-то "внизу" по иерархии становясь из activities "процессами", process). Тоже уровней два, в явном виде понятия практики не вводится, хотя объединяющие activity и work products квадратики для facets рисуются, но дальше всё лирически дробится на activities.

Если приглядеться, то силовики (занимающиеся security) и чиновники (занимающиеся safety) написали бОльшую часть текста: у этих ребят всегда есть время писать стандарты, директивы, предписания и фреймворки. У остальных инженеров времени для написания качественных своих разделов было явно меньше, это хорошо видно. Про "умность" мы не находим ничего, но зато подробные рассказы про Stuxnet и недопустимость раздельного учёта safety, reliability, privacy, cybersecurity, resilience -- только вместе, только в комплексе! Я думаю, в следующем CPS Framework до безопасников дойдёт и волна машинного интеллекта, и к развёрнутым примерам Stuxnet добавится ещё и обсуждение Skynet, на десятки страниц. И даже когда мы читаем про аспект data, основное внимание там уделяется firewall, permissions и прочим аспектам безопасности (хотя и есть попытка что-то рассказать про data fusion и моделирование данных).

А вот основные инженерные аспекты оказались описаны по полстранички (буквально!) каждый -- composition (Concerns related to the ability to compute selected properties of a component assembly from the properties of its components. Compositionality requires components that are composable: they do not change their properties in an assembly. Timing composability is particularly difficult. Namely: adaptability, complexity, constructivity, discoverability) и lifecycle (deployability, disposability, engineerability, maintainability, operability, procureability, producibility).

Дальше там идут примеры использования CPS Framework, чтобы рассуждать о сложных CPS типа "мониторинг энергоэффективности завода". Учитывая, что примеров системной инженерии в Сети можно найти крайне мало, наличие этих use case examples крайне полезно. Там, например, можно найти такие картинки:



Там есть и другие примеры, главным образом как делать стадию концептуализации (какие таблички заполнять, чтобы описать киберфизическую систему так, чтобы её описание было хоть как-то сравнимо с другими описаниями -- ведь именно для этого и затеян весь CPS Framework).

Руководителем рабочей группы по справочной архитектуре (reference architecture) там Janos Sztipanovits -- http://www.nist.gov/cps/cpspwg_refarch.cfm. Я когда-то даже писал про его воззрения в 2009 году по теме Convergence: Model-Based Software, Systems And Control Engineering (http://ailev.livejournal.com/673824.html и http://ailev.livejournal.com/675208.html). И это его предложения легли в методологическую основу CPS Framework. Он все эти годы занимался проектом инструментария интеграции моделей OPENMeta для программы Adaptive Vehicle Make (AVM) DARPA, вот типичный его отчёт по этой программе: http://www.isis.vanderbilt.edu/sites/default/files/The%20META%20Toolchain_Accomplishments%20and%20Open%20Challenges.pdf. И именно в этой программе он отрабатывал всю эту механику с aspects-facets, например смотри его апрельскую 2015г. презентацию в сборничке презентаций тут (начиная с 72 слайда) -- http://www.cpspwg.org/Portals/3/pdfs/CPS%20PWG%20April7%202015%20Morning%20Opening%20through%20Reference%20Architecture%20presentations.pdf, терминология там была ещё другая (например, не conceptual facet, а system facet), но зато дан дополнительный пример из программы AVM DARPA, включая Meta Programmable Tools и Semantic Backplane с языком интеграции моделей CyPhyML. Этот пример сам по себе интересен как попытка пройти по линии интеграции инженерных моделей максимально далеко в рамках текущего мейнстрима технологий model-based systems engineering (например, интенсивного использования Modelica). Обратите внимание, что в презентация Sztipanovits отнюдь не перегружена соображениями безопасности и защиты (даром что сам пример абсолютно военный, этот adaptive vehicle вполне себе бронетранспортёр).

Итого: CPS Framework -- хороший пример системноинженерного методологического рассуждения. Просмотреть его было бы полезно всем любителям ISO 42010 и ISO 15288, но при этом нужно чётко понимать, что там сейчас дико переразвитая часть по безопасности и защитам и почти ничего не сказано про собственно инженерное содержание, кроме некоторых примеров по концептуализации/начальным стадиям инженерии требований. И практически не помянут системноинженерный менеджмент из практик системной инженерии. И ничего про "ум" в этих "умных" (smart) системах.

С нетерпением жду выхода конечной версии. А пока я бы назвал этот документ "Безопасность и защита в кибер-физических системах, сквозное рассмотрение".
Thursday, January 14th, 2016
1:15 am
Новости школы системного менеджмента
Вышел бодрый трёхминутный ролик о нашей школе системного менеджмента (https://youtu.be/XgzQcBW5qnM):


Очередной мой тренинг системного мышления будет там 24 января 2016г.: "Как определить свою систему среди чужих" (http://nisse.ru/training1/), это первый день шестидневного цикла с выходом на стратегирование (программа всех шести дней: http://ailev.livejournal.com/1232632.html, набор группы -- http://system-school.ru/event/kurs-treningov-sistemnogo-mshleniya-sistemny-menedzhment-i-strategirovanie/). Первый тренинг можно пройти и отдельно, без подписки на весь цикл. Вот его краткий видеоанонс (https://youtu.be/6hHkx4vYJU4):


Видеоанонсы остальных дней и видеосправки по используемым в курсе терминам можно найти в видеоканале школы: https://www.youtube.com/channel/UCJ0Uq_WB7GLmY-NTz2oFoUQ

Про мероприятия Школы можно узнать в фейсбуке: https://www.facebook.com/system.school.ru/
Wednesday, January 13th, 2016
9:05 pm
lytdybr
Основное время сейчас уходит на размышление по темам интересов (concerns), различий в разных инженериях (которые по предложению Rich Hilliard отличаются набором типовых стейкхолдеров и их интересов -- если они разные, то и инженерии разные) и разбирательством с разными примерами. Поэтому для лекции на хакатоне (http://qa.deephack.me/) я заявил тему machine learning engineering, а не ожидавшуюся от меня тему онтологий. Онтологии подождут, хотя там много чего интереснейшего происходит прямо сейчас (например, http://arxiv.org/abs/1601.02745).

Интересные новости по машинному обучению прибегают уже быстрей, чем я успеваю читать (сами поглядите: https://vk.com/deeplearning). Эх, не дождёмся мы таких же темпов развития от новостей по системной инженерии! Хотя есть шанс дождаться такого темпа, когда машинное обучение массово доберётся до инженерии. Буду как-то приближать этот момент.

В межвузовской магистратуре Новосибирска я работаю 4-6 февраля 2016. Пока по прогнозу там будет -17°C, мороз и солнце, день чудесный. Хотя чего это я о погоде беспокоюсь? Я ж там буду круглые сутки в помещении, вряд ли занятия будут на улице!

После нового года меня вдруг начали френдить по пять человек в день на vk.com -- "доктор, что это было?". А до этого много лет там была полная тишина.

Последний предсмертный альбом David Bowie меня почему-то не впечатлил. Но вот в 2015 году, оказывается, вышел Earthling (Expanded Edition) -- http://zvooq.ru/release/3699014/. Прослушал с большим удовольствием. Хороший музыкант David Bowie.

Отрок ходит уже три дня в школу и на курсы, проявляет какое-то рвение. Длиннющие выкладки по алгебре делает в уме, при этом часто что-то путает, а заставить его писать вывод в тетрадке (юзать экзокортекс!) не получается. Это с детства: решалка работает на полную, а читалка-писалка задействуются очень экономно, ниже разумных пределов. Из многочисленных тем сочинения на английском почему-то выбрал английскую буржуазную революцию (хотя жена предложила ему пяток тем попроще). На каникулах он существенно продвинул алгебру 8 класс (там осталось две темы, чтобы её закончить полностью) и физику (в основном гидравлические машины, 7 класс). На алгоритмику времени не осталось, увы.

Мне нашли мой забытый десяток лет назад вебсайт, и на нём фотографии Артура Анатольевича "К выборам" 2002 года -- http://levenchuk.ru/87923. Теперь Артур Анатольевич уже выше меня, а надпись "к выборам" вызывает удивление: неужели в 2002 году слово "выборы" было ещё актуально для подписи к таким фотографиям? В 2016 у меня со словом "выборы" ассоциируется совсем другой визуальный ряд.
2:33 pm
Компьютеры в помощь крутым перцам: не мейнстрим
"Компьютерная помощь крутым перцам не пользуется спросом, пользуется спросом расширение возможностей дебилов и полная автоматизация работы умных людей -- на другое денег не будет" -- это я пересказал неполиткорректными словами цитату из Doug Engelbardt (http://www.pbs.org/cringely/pulpit/2004/pulpit_20040826_000459.html)
Back in the 1960s and 1970s the hot topics were Office Automation and Artificial Intelligence. Each of those areas was receiving huge amounts of research dollars and if you wanted money you had to be from one school or another. I wasn't. They were impressed by our demonstration, but couldn't see how it fit with their thinking. Office Automation was all about making secretaries more efficient but what we showed wasn't secretarial work. Artificial Intelligence was about teaching the computer to do the work for you, so while what we showed was very nice the people from that school felt that the computer should do those things automatically. So they applauded our work, but if anything it became even harder to find money to continue the work.
Сам Engelbard трактовал это помягче, чем я: он просто считал, что его исследования по компьютерной помощи крутым перцам "не попали" в превалирующие в то время школы мысли, он просто не вписывался в темы бюджета тех времён.

Но если сопоставить вечные сожаления Alan Kay о том, что умным деткам никак не помогают образовываться и не дают им адекватных сложных компьютерных средств для развития, а вся помощь достаётся "отстающим в развитии" -- и эта помощь только тормозит развитие самых умных, то я бы не считал, что речь идёт о бюджете тех времён. Это относится к бюджетам любых времён: компьютер будет помогать слабым, но замещать сильных. Помогать сильным будут в виде исключения -- ибо помним про "скрипку Энгельбарта" (я много писал в прошлом году на эту тему: "Никто не хочет учиться играть на XYZ" -- http://ailev.livejournal.com/1158826.html, percieved cognitive load http://ailev.livejournal.com/1167761.html, "заумные репрезентации, не имеющие шанса быть выученными людьми" http://ailev.livejournal.com/1168767.html, уход от классической формальной онтологичности http://ailev.livejournal.com/1170658.html, антипример Синичи Мочидзуки http://ailev.livejournal.com/1176759.html, идея обращаться сразу к конечным потребителям, а не заставлять переучиваться профи -- т.е. не патчить текущий технологический стек, а сразу делать новый: http://ailev.livejournal.com/1183945.html).
* * *
Это меня тут спросили в комментах по поводу компьютров-художников: не будут ли они помогать крутым художникам (http://ailev.livejournal.com/1240745.html?thread=13291433#t13291433)? Нет, они будут помогать совсем не-художникам или очень плохим художникам. Крутым художникам останутся только традиционные-без-интеллекта графические редакторы типа http://www.paintstormstudio.com/. Работу хороших художников будут стремиться не как-то усилить до неведомо каких высот, до недосягаемого на сегодняшнем уровне state-of-the-art, а наоборот -- автоматизировать, упростить текущий уровень и передать его людям ниже по цепочке способностей.

Это не значит, что из этого автоматизационного мейнстрима нет исключений. Есть, конечно. Но эти исключения не мейнстрим, увы.

Эту тему ещё копает Тимур Щукин, который и вытащил начальную цитату Энгельбарта: https://www.facebook.com/photo.php?fbid=10207837435835305&set=a.1946683628254.113110.1277449091.

UPDATE: дискуссия в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10206258708800689?comment_id=10206259804108071
Monday, January 11th, 2016
10:42 pm
Генератор аниме и манги, версия 0.1: пока рисует только персонажей, но ещё не вечер.
Вот тут можно установить слайдеры (от "кошачьи уши" и "нижнее бельё" до "чёрный фон" и "Сузумия Харухи") по вкусу, а затем нажатием кнопочки сгенерировать себе иконку уникального аниме-персонажа: https://mattya.github.io/chainer-DCGAN/ (надеюсь, там сайт не упадёт -- все ведь сейчас туда кинутся!).

Вот такую , или такую . По положению всей сотни слайдеров они не сильно отличаются -- я там только поменял параметр "колдовская шляпа" и цвет волос и глаз на зелёный.

Это означает, что нейронная сетка не только разобралась с "морфологией японской визуальной сказки", но и может такие визуальные сказки генерить. Привет Проппу, в том числе его ненаписанным работам по визуальному нарративу. Привет также всем преподавателям художественного слова, краски и пляски. Привет и всем ученикам этих преподавателей.

Итак, генератор персонажа и фона к нему работает. Что дальше?

На следующем этапе нужно будет для вашей манги написать кратенький сюжет и задать число страниц. Можно сразу делать в цвете, всё одно не тушью рисунок. Это ведь просто обратная задача написания рассказа по видео, а такая задача уже потихоньку решается: Expressing an Image Stream with a Sequence of Natural Sentences, http://gitxiv.com/posts/BckBiSmntPd2aQ6o4/expressing-an-image-stream-with-a-sequence-of-natural. Там взяли картинки из блогов, натренировали на них сетку, а потом попросили сетку писать текст по произвольно подобранным картинкам.


Можно делать и сразу аниме, почему бы и видео не сгенерировать?!

Юмор там тоже будет "слайдером", визуальный юмор ведь отлично выучивается -- см., например, из свеженького We Are Humor Beings: Understanding and Predicting Visual Humor, http://arxiv.org/abs/1512.04407

Конечно, на литературную премию это не потянет ещё лет пять, так и я дома на пианинке когда играю -- явно не Рихтер. Технологиям этим всего пара-тройка месяцев, совершенствоваться-учиться эти технологии будут IMHO со скоростью человека (это у меня такая странная догадка, из общих соображений). То есть, если сегодня эти каля-маля и тексты как у семилетнего ребёнка, то в следующем году это будет как у восьмилетки, а через пять лет -- как у отрока в 12 лет. Через десять лет это будет творчество 17-летнего, причём такого, который усидчиво рисовал (писал рассказы, плясал и т.д.) с пяти лет. Поконкурируйте с таким!

Это всё цветочки пока. Например, автоматически раскрасить старый фильм (подглядев цвета предметов и одежды в окружающем мире, https://youtu.be/_MJU8VK2PI4):

Это вот -- http://tinyclouds.org/colorize/

Я боюсь, что большинство людей сегодня не понимают некоторых простых вещей об этих новых технологиях:

1. Чуйку человеческую моделировать оказалось легко, если не требовать дальше согласования выводов этой чуйки с законами физики, химии, экономики и т.д.. То есть гуманитария получить из нейронной сетки -- это раз плюнуть. С логикой и научной картиной мира, добавленной к "гуманитарщине" пока сложности, это в полной мере будет чуть попозже, через десяток лет. Так что инженерия, химия и физика будут автоматизироваться медленнее, чем рисование картинок или подбор правильных шрифтов.

2. Машинное обучение оказалось не слишком капиталоёмким. Никаких миллиардов долларов на закупку оборудования не нужно, хотя суперкомпьютеры бы не помешали. Но и $1000 на GPU позволяет получать результаты. Алгоритмы всё более и более доступны (например, библиотека, на которой сделан генератор персонажей, свободно лежит тут: http://chainer.org/). Хотя профи в этой области уже дорогие, а новых людей учить-кормить нужно некоторое время и это тоже дорого. Но не дороже, чем в каких-нибудь блокчейнах. При этом приток новых кадров огромный, может даже побольше, чем в тех же блокчейнах. Я даже не могу себе представить, сколько любителей аниме и манги захотят освоить технологии машинного обучения после того, как увидят демонстрашку генерации персонажей и захотят "просто повторить", а затем "чуть-чуть улучшить".

3. Полученный вечером результат утром становится доступным через сеть всему миру, а вечером все, кому надо, его уже нагуглят. Структура хобби и структура занятости в сфере "гуманитарщиков" будет меняться быстрее, чем можно ожидать по темпам изменений последних пяти лет. Ах, и ещё нужно отметить, что контроль качества работы будет сильно "объективизирован" -- это ж элементарно выучить, что разные целевые аудитории будут лайкать. Качество компьютерного state-of-the-art будет довольно быстро расти, а человеческого остаётся более-менее постоянным. Можно будет строить графики исчезновения потребности во всяких "оформителях" и "криэйторах" -- оставаться-то на рынке будут только такие из них, у которых уровень профессионализма которых будет ниже потихоньку растущего звёздного, но выше быстро растущего компьютерного. Всё будет очень быстро, много быстрее, чем чем приходил интернет и мобильная телефония.

4. Потихоньку будет исчезать даже понятие "целевой аудитории", останутся отдельные люди -- компьютерам ведь не нужно будет целиться в "среднюю температуру по больнице" целевой аудитории. Точно так же, как вы получите сегодня своего уникального аниме-персонажа, сгенерированного по первой ссылке, точно так же гуманитарная продукция будет генерироваться и отгружаться целевому вам любимому (или целевой вам любимой. Компьютер-гуманитарщик обязательно разберётся и в различиях пола-гендера, и в предпочтениях по цветовой гамме и даже сколько процентов слов заменять на их матерные эквиваленты, чтобы вам понравилось). Всё, что вы пишете, будет изучаться (попробуйте, кстати, свеженький сервис от IBM -- психологические оценки ваших текстов: https://watson-pi-demo.mybluemix.net/ -- пока тексты должны быть только на английском или испанском, но лиха беда начало! Зато в текстах вычислят и характеристики Personality, и Consumer needs, и Values. А вот тут твиты использовали, чтобы узнать реакцию зрителей на новый эпиздод "Звёздных войн". Реакция оказалась в целом положительная -- http://habrahabr.ru/company/dca/blog/274027/, но нам-то нужны индивидуальные реакции! И они там вполне автоматически вычисляются). А всё изученное будет использовано, чтобы угодить лично вам, ибо компьютерная "гуманитарщина" будет стоить копейки -- хоть художественная проза, хоть философские эссе, хоть аниме вкупе с мангой, хоть голые женщины или мужчины (самые разные параметры которых даже в порнофильмах вам аккуратненько подстроят под ваш вкус -- включая эмоции. Вот, эмоции режиссёры уже могут накладывать после съемок: https://www.disneyresearch.com/publication/facedirector/. Дальше эти эмоции будут накладывать не режиссёры, а сами компьютеры -- да ещё и в реальном времени, отслеживая вашу реакцию в ходе просмотра и подстраиваясь под ваш вкус).

UPDATE: вот ещё одна игрушка -- сочинение стихов по картине, https://github.com/rossgoodwin/neuralsnap и ещё одна -- обзор по переносу художественных стилей (Artificial Startup Style): https://medium.com/data-engineering/artificial-startup-style-437f6090b1f7#.15m84u1qq, и даже генерация политических речей для заданной партии -- http://arxiv.org/abs/1601.03313
Sunday, January 10th, 2016
12:40 am
Глубокое обучение: читал Нандо де Фрейтаса, много думал
Nando de Freitas дал феерические ответы на вопросы завсегдатаев Reddit -- https://www.reddit.com/r/MachineLearning/comments/3y4zai/ama_nando_de_freitas/. Ныне 45-летний профессор Оксфорда (а заодно сотрудник DeepMind), он закончил Trinity College в Кембридже, но перед этим поучился в южноафриканском университете, где и познакомился с нейронными сетями. Родился в Зимбабве, был беженцем мозамбикской войны в раннем детстве, подростком решал задачки по математике, торгуя пивом в южноафриканском супермаркете. Задачки он брал из рекомендованного им учебничка Erwin Rreyszig "Advanced Engineering Mathematics" http://www.amazon.com/Advanced-Engineering-Mathematics-Erwin-Kreyszig/dp/0470458364 (да, 10е издание есть на thepiratebay.org).

В ответах Нандо бездна любопытнейших комментариев по поводу deep learning и его перспектив. Пока читал, набралось некоторое количество ссылок -- приведу их тут, чтобы не потерять:

Люди нахваливают его видеокурс по машинному обучению (16 видеолекций 2014-2015): https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/

У Нандо основной упор на архитектуру самой модели (а нужный алгоритм он считает, эта модель потом выучит как-нибудь -- недаром он напирает на reinforcement learning). Он считает, что нейронная сетка вполне себе тьюринг-полна, она и будет программировать и исполнять программы. Никаких логических ускорителей сбоку, всё прямо в сетке будет происходить. Все его последние работы про это:
-- Neural Programmer-Interpreters: http://arxiv.org/abs/1511.06279, сетка для представления и вычисления программ. Особенность от предыдущих работ, так это отличная генерализация (хотя и не абсолютная, как в символических методах -- но при выучивании сортировки в двадцать чисел затыкается не на третьем десятке, а аж на пятом). Хитрость в том, что там в архитектуре три разных компоненты: задаченезависимое рекуррентное ядро, key-value программная память и предметно-зависимые кодировщики. Нандо всё время подчёркивает, что в модели (самой нейронной сети) трудно провести границу между данными и алгоритмами -- с одной стороны, сеть это всего навсего набор параметров, а алгоритм трудится над этими параметрами, а с другой стороны в этих параметрах закодированы алгоритмы: и что там делается собственно алгоритмом сети, а что алгоритмом в сети это не так уж и важно где. Чем-то это рассуждение напоминает про многоуровневость вычислений и данных в традиционных компьютерах (микропрограммы процессора и внутрипроцессорные регистры, машинны и регистры процессора, данные и программы виртуальной машины языка и т.д.). Но главное, что For me there are two types of generalisation, which I will refer to as Symbolic and Connectionist generalisation. If we teach a machine to sort sequences of numbers of up to length 10 or 100, we should expect them to sort sequences of length 1000 say. Obviously symbolic approaches have no problem with this form of generalisation, but neural nets do poorly. On the other hand, neural nets are very good at generalising from data (such as images), but symbolic approaches do poorly here. One of the holy grails is to build machines that are capable of both symbolic and connectionist generalisation. NPI is a very early step toward this. NPI can do symbolic operations such as sorting and addition, but it can also plan by taking images as input and it's able to generalise the plans to different images (e.g. in the NPI car example http://www-personal.umich.edu/~reedscot/iclr_project.html, the cars are test set cars not seen before). Хотя он тут же признаёт, что алгоритмы быстрой сортировки по этой линии не получить, нужно придумывать что-то ещё.
-- для него самое главное достижение в Dueling Network Architectures for Deep Reinforcement Learning http://arxiv.org/abs/1511.06581 (там был огромный прорыв в задаче обучения для Atari-игр) это то, что модель поменялась, а алгоритмы остались по сути те же -- изменение архитектурное, а не алгоритмическое. Ибо one can either construct networks or play with equations to achieve similar goals. До сих пор архитектуры были "многоуровневая сетка" без особых изысков и самые разные алгоритмы reinforcement learning, самые разные формулы вычислений, а тут появилось что-то новое -- специализированные блоки сетки, которые учатся под одним алгоритмом разному и дальше устраивают между собой дуэль за право выдать решение.


А дальше интересное: поскольку самое главное будет происходить не в вычислениях над сеткой, а вычислениями в сетке, то сама сетка может быть устроена попроще -- и желательно устроить её вообще аппаратно, в оптике! Вот примеры аппаратных оптических вычислений:
-- DCDL: A structured Efficient Linear Layer -- http://arxiv.org/abs/1511.05946, который хорош не столько тем, что там число параметров традиционного линейного (все-со-всеми) слоя в нейронных сетках ужимается вшестеро (на ImageNet примере по сравнению с Caffe реализацией), но что есть шанс реализовать его оптически!
-- Towards Trainable Media: Using Waves for Neural Network-Style Training -- http://arxiv.org/abs/1510.03776, In this paper we study the concept of using the interaction between waves and a trainable medium in order to construct a matrix-vector multiplier. In particular we study such a device in the context of the backpropagation algorithm, which is commonly used for training neural networks.
-- Random Projections through multiple optical scattering: Approximating kernels at the speed of light -- http://arxiv.org/abs/1510.06664. Это не нейронные сетки, но kernel trick в SVM, и там уже есть стартап LightOn (http://phys.org/wire-news/209453189/an-ultrafast-and-low-energy-consumption-optical-co-processor-fo.html, http://lightOn.io -- и там фантастический слоган: Harvesting Computation from Nature). Это труды "смежников" из направления обработки сигналов compressive sensing -- они там для начала отправляют в игнор Найквиста-Котельникова, говоря, что незачем квантовать так обильно, если потом сигнал всё одно приходится сжимать. Дальше много-много математики и разные чудеса вычислительной оптики/радиолокации/аудиообработки: http://dsp.rice.edu/cs -- вот тут разные ссылки на предметную область, вот тут блог с новостями: http://nuit-blanche.blogspot.ru/. Интересно, что в самой этой предметной области deep learning вовсю используется: это ж универсальный аппроксиматор.

По Нандо де Фрейтасу архитектура сеток должна вообще подбираться-программироваться, и заниматься этим должна байесовская оптимизация (AutoML у него насквозь байесовский). Но и тут хинт: посколько сетка универсальна, то вся байесовщина реализуется не "над ней", а "в ней" -- одна сетка будет строить другую, ибо будет этому выучена -- Bayesian updating, Bayesian filtering and other forms of computation can be approximated by the type of networks we use these days. A new way of thinking is in the air. То есть программа слияния Bayesian reasoning и deep learning (например, тут http://blog.shakirm.com/2015/10/bayesian-reasoning-and-deep-learning/ и тут http://mlg.eng.cam.ac.uk/yarin/blog_5058.html) по мнению Нандо будет реализовываться без особого пиетета ко всему байесовскому, просто в нейронные сетки возьмут всё полезное оттуда.

Интереснейшие замечания про word embeddings ровно вдоль этой линии рассуждений (сетка мощна, всё будет в ней) дал приглашённый Нандо де Фрейтасом в чат Ed Grefenstette (http://egrefen.com/news.html, он активно работает с лингвистикой -- вот тут его свежие результаты: http://arxiv.org/find/cs/1/au:+Grefenstette_E/0/1/0/all/0/1). Тут нужно заметить, что в ответе он главным образом адресует "заранее выученные" word embeddings, которыми завалена Сеть:
-- самые разные подходы к word embeddings по сути are effectively equivalent in performance and representational power, up to the correct choice of hyperparameters. Вот тут многочисленные ссылки по embeddings, подтверждающие эту одинаковость, включая дополнительное замечание, что для их построения никакой глубокой сетки не нужно, хватает мелкой сетки: http://gavagai.se/blog/2015/09/30/a-brief-history-of-word-embeddings/. И ещё https://levyomer.wordpress.com/2015/03/30/improving-distributional-similarity-with-lessons-learned-from-word-embeddings/ и https://levyomer.wordpress.com/2014/09/10/neural-word-embeddings-as-implicit-matrix-factorization/ (и там ещё много -- https://levyomer.wordpress.com/category/word-embeddings/). Хе-хе, не могу не заметить, что matrix factorization любимая тема для compressive sensing -- https://sites.google.com/site/igorcarron2/matrixfactorizations и оттуда прямой ход на вычислительную оптику! Хотя в этом пункте про word embeddings это явно оффтоп.
-- word embeddings ... in no way a good general representation of semantics, but rather just one very successful example of an application transfer learning between contextual prediction (word given context, or context given word) and other domains with very different objectives (sentiment analysis, language modelling, question answering), either by serving as representations in their own right, or as initial settings to aid training.
-- эмпирическое возражение: если данных достаточно, то ничего заранее выученного не нужно. Более того, если вам нужно будет развести значения "тачка" и "автомобиль" для сленга и официальной речи, то прихват заранее выученных word embeddings будет даже лишним, и лучше бы для этого учить модель языка заново.
-- концептуальное возражение: для RNN embedding matrix это часть самой сетки! ... embeddings are just weights of a linear transform from the one-hot input into vectors used by the network's internal dynamics. Meaning and interpretation, if there is such things, are present in the state of the network, rather than solely in the embeddings, and it makes as much sense to seek to interpret the weights that constitute embeddings as it does to seek to interpret any other weight in the network. Pre-training embeddings and using them in another network, under this view, is even more explicitly just a form of transfer learning, in that we are initialising the weights of part of a task-specific network, and perhaps freezing them, with information obtained from another task. It's not a bad strategy, but I think people focus too much on this very specific form of transfer learning rather than, more generally, on other options there are out there (or yet to be discovered) to help us deal with data paucity, and to best share information across similar tasks. Вот! Meaning and interpretation -- Эд различает "значение и смысл" и напирает на то, что нужно работать и со значением/знанием (переносимым из других ситуаций опытом), и со смыслом (transactional information -- имеющей смысл только в контексте конкретного действия). Для меня это различение всегда было важно, и теперь понятно, какая группа в deep learning с этим работает -- купленные в состав DeepMind люди из http://www.darkbluelabs.com/ -- они там все из Оксфорда.

Там ещё много всякого разного интересного в этом чатике с Нандо де Фрейтасом, например, указание на людей, которые двигают математику deep learning, проясняя почему это всё вообще работает: Andrew Saxe (http://www.people.fas.harvard.edu/~asaxe/) и Surya Ganguli (https://ganguli-gang.stanford.edu/pubs.html). Или замечание, что ключевое для прогресса в AI это simulation -- полностью совпадает с моим мнением, что учебные наборы данных нужно не искать в природе (как в диких племенах учат деток, используя окружающий мир как учебное пособие), а изготавливать/generate/simulate (как в культурных обществах: учат в школах на специально подобранных учебных примерах и учебном оборудовании -- curriculum learning).

State-of-the art в machine intelligence меняется каждые пару месяцев, и существенно. Уже после нового года много чего появилось. Например, Multi-Way, Multilingual Neural Machine Translation with a Shared Attention Mechanism http://arxiv.org/abs/1601.01073, где все переводы делаются одной сеткой, но число параметров растёт линейно с числом языков. Но главное даже не это. Главное то, что proposed model significantly improves the translation quality of
low-resource language pairs, и это не единственный результат, где многоязычный перевод даёт рост BLEU -- вот тоже свеженькое: http://arxiv.org/abs/1601.00710. Пространство значений там 620-мерное, текущий стандарт. Кстати, большая размерность тоже не всегда хороша оказывается -- об этом тоже посленовогодний результат http://arxiv.org/abs/1601.00893. Вспоминается John Sowa, который не устаёт повторять, что онтологии для того, чтобы они были полезны, должны быть сильно недоопределены. У меня тут онтологический вопрос: если уж и брать это "пространство значений" (и оно же, вероятно, пространство смыслов), то какой оно размерности? Если речь идёт не о людях и человечьем языке -- то можно ли поднять "разрешающую способность" этого пространства, сделав шаг к большей формализации/дискретности/разрешению представления мира? Не даст ли это возможность "лучше думать" (если думает не человек)? А главное (учитывая замечание о недоопределённости как принципиально важной вещи) -- нужно ли это делать? Скорее всего, нужно будет уметь и увеличивать, и уменьшать размерность этого пространства для разных задач. Как это делать -- отдельный интересный вопрос, который появится после ответа на вопрос "когда и для чего".

Опять же, если там применят ход из http://arxiv.org/abs/1512.02433 (Minimum Risk Training for Neural Machine Translation -- это появилось только 8 декабря 2015 в Сети, поэтому вряд ли было известно на момент подготовки публикации), как вырастет качество? Ибо весь этот мультиязычный перевод вроде как сравнивается со state-of-the-art уровнем, но за месяц этот state-of-the-art уехал!

Автономный переводчик-коробочка ili (first wearable translator -- английский, японский, китайский в оффлайне, без связи с интернетом!) уже выходит на рынок: http://www.iamili.com/. Я считаю, что это такое пижонство, функциональность этого устройства (как десятка автономных других гаджетов до этого) быстро-быстро поглотится смартфоном. А пока устройство взяло Innovation Awards 2016. И да, for travel purposes, ili outperforms all existing translation engines.

Но это ерунда по сравнению с переводчиком с видео в речь (для слепых), который уже прототипируется в Baidu: Andrew Ng hands me a tiny device that wraps around my ear and connects to a smartphone via a small cable. It looks like a throwback—a smartphone earpiece without a Bluetooth connection. But it’s really a glimpse of the future. In a way, this tiny device allows the blind to see. Ng is the chief scientist at Chinese tech giant Baidu, and this is one of the company’s latest prototypes. It’s called DuLight. The device contains a tiny camera that captures whatever is in front of you—a person’s face, a street sign, a package of food—and sends the images to an app on your smartphone. The app analyzes the images, determines what they depict, and generates an audio description that’s heard through to your earpiece. If you can’t see, you can at least get an idea of what’s in front of you. -- -- http://www.wired.com/2016/01/2015-was-the-year-ai-finally-entered-the-everyday-world/

Advanced Driver Assistance Systems (ADAS) -- сделали Brain4Cars, в которой на базе LSTM предсказывают манёвр за 3.5 секунды до него (with a precision and recall of 90.5% and 87.4% respectively по прилагаемому набору данных с 1180 милями вождения)! Вот: http://arxiv.org/abs/1601.00740. Это тоже свежее, 5 января 2016. Хинт в том, что наблюдают не только за дорогой, но и за водителем!

Вот эта штука тоже интересна: http://arxiv.org/abs/1601.00917 -- DrMAD, оптимизация гиперараметров. Experiments on MNIST dataset show that DrMAD reduces memory consumption by 4 orders of magnitude for optimizing hyperparameters without sacrificing its effectiveness. To the best of our knowledge, DrMAD is the first research attempt to automatically tune hundreds of thousands of hyperparameters of deep neural networks in practice. Никакого змеиного масла, Autodiff просто необязательно обеспечивать строгость в обратном проходе! Нужно этот обратный проход по сравнению с прямым аппроксимировать! Таких инициатив несколько, алгоритмическая борьба за скорость идёт полным ходом. Вот, например, ускоритель для CNN: https://github.com/dmlc/mxnet/tree/master/tools/accnn

Трюк Karpathy с посимвольным порождением текста продолжает эксплуатироваться: теперь его применили, чтобы генерировать уровни Mario -- и неудивительно, что они выглядят как тщательно спроектированные человеком и так же играбельны: https://medium.com/@ageitgey/machine-learning-is-fun-part-2-a26a10b68df3#.dzza78ul1

Подборочка свежих работ по attention от Denny Britz: http://www.wildml.com/2016/01/attention-and-memory-in-deep-learning-and-nlp/. Не сомневаюсь, что через полгода там нужно будет всё переписывать, жизнь убежит далеко-далеко.

Идёт популяризация захода Сristopher Olah на differential functional programming (http://colah.github.io/posts/2015-09-NN-Types-FP/). Развитие идеи в http://edge.org/response-detail/26794, где поминается работа Ed Grefenstette сотоварищи http://arxiv.org/abs/1506.02516 -- он там на нейронной сетке реализовал continuously differentiable analogues of traditional data structures such as Stacks, Queues, and DeQues. Далее говорится, что так потихонечку наберут дифференцируемые аналоги и всякого остального, потребного для полноценного функционального программирования -- и новая парадигма у нас в кармане.

На закуску -- "вечнозелёный" материал, краткий пересказ лекции Yoshua Bengio на летней школе по deep learning в Монреале, 2015. Deep Learning: Theoretical Motivations": http://rinuboney.github.io/2015/10/18/theoretical-motivations-deep-learning.html. Начинается там волшебно: Deep learning is a branch of machine learning algorithms based on learning multiple levels of representation. The multiple levels of representation corresponds to multiple levels of abstraction. This post explores the idea that if we can successfully learn multiple levels of representation then we can generalize well.
[ << Previous 20 ]
About LiveJournal.com