?

Log in

Лабораторный журнал
 
[Most Recent Entries] [Calendar View] [Friends]

Below are the 20 most recent journal entries recorded in Anatoly Levenchuk's LiveJournal:

[ << Previous 20 ]
Friday, July 21st, 2017
10:21 pm
Как организован прогресс в AI и почему там всё быстро
Рассказывал вчера о том, что новенького в организации R&D по искусственному интеллекту по сравнению с разными другими "отраслями" (industries, хотя тут можно говорить и эко-системами или выдумывать ещё какие слова). Вот кратенько, просто чтобы было:

1. Basic research проходят peer review главным образом не через журналы, а через конференции (журналы тут больше исключения и мало кого волнуют, хотя всякие DeepMind время от времени публикуются в Nature, но это уж больше пиар, чем "для дела"). При этом публикации идут в arxiv.org, и немедленно. Конференочный peer review обычно тоже открыт для публики, плюс непрерывно обсуждается субъективный характер принятия-непринятия статьи на конференцию и делаются вялые попытки поднять скорость и качество отбора. Итого: экономия года по распространению новых знаний после момента появления этого знания.

2. Публикации выполняют несколько простых правил:
-- если ты не применил новый способ, получающий state-of-the-art по точности или производительности, то нет предмета публикации (и тут вечные споры конечно, тем не менее).
-- если ты сказал "ваши способы это частные случаи моего способа", то нет предмета публикации -- если только твоё обобщение не помогло после этого поднять state-of-the-art. Обобщателей много, но нужно показывать, зачем обобщение в плане достижения state-of-the-art.
-- мало дать формулы, нужно ещё опубликовать код, и указать набор данных, чтобы люди могли повторить. И они повторяют, чуть ли не в тот же день, и часто уже не просто воспроизводя примеры твоим кодом, а каким-то своим на других языках-пакетах. Все феномены типа gitxiv.org про это, хотя и просто взаимные ссылки блогпоста (там принято собирать комменты и популярно писать расширенные abstracts), кода и данных в github и статьи в arxive вполне работают.
-- если сделал вообще что-то новое, и state-of-the-art нету, то давай любое левое сравнение с любым левым способом решения (базис) и набор данных, и свой первый результат как state-of-the-art. Но только если ты сделал вообще что-то новое. А вот предложить сделать что-то новое, и всё -- вот этого нельзя. State-of-the-art должен быть, и он должен быть посчитан. Кроме идеи должна быть реализация с демонстрацией работоспособности на каких-то данных.
-- спорт идёт по двум направлениям: точность против скорости-с-памятью, можно не улучшить или даже чуть ухудшить одно при достижении рекорда в другом (ибо редко удаётся улучшить оба-двое). Особенность в том, что скорость-с-памятью тоже идут в зачёт: эффективность не менее значима, чем собственно результат. И это спорт: публикуются только новые рекорды, а не-рекорды не достойны публикации. Голы-очки-секунды, пьедесталы почёта в виде завлабства и прочих пряников.
-- интернет не даёт всем опубликованным новинкам потеряться, плюс добавляет широкие возможности по обсуждению мимо конференций и формальных peer review, популярностью пользуются несколько еженедельных newsletters с "супер-пупер-новинками" -- и крутых новостей за неделю набегает более чем достаточно. А ещё есть огромное число пузомерок (типа той же Kaggle или наших хакатонов DeepHack).

3. Связь с производством обеспечивается несколькими путями:
-- при крупных фирмах есть профильные отделы development и лаборатории research. В лаборатории 70% учёных и 30% инженеров, в профильных отделах 70% инженеров и 30% учёных. И постоянные обмены людьми между ними. И главы лабораторий не потеряли связи с университетами, там тоже постоянные обмены людьми. Публикации от фирм обычное дело, фирмы присылают на конференции команды по 200 человек (тот же Гугль), закрытые компании дожимаются до этого состояния разве что не бойкотом (как Apple).
-- основные фреймворки доработаны до состояния, когда исследовательская работа R&D и выход в production осуществляются чуть ли не одним и тем же кодом. "Проблема двух языков" (один быстрый для прототипирования, но медленный в работе, а другой медленный в кодировании, но быстрый в исполнении) тем самым устраняется абсолютно целенаправленными усилиями. На это направлена вся инфраструктура. Один код нейросетки, одна модель будет работать у исследователя на десктопе и в продакшн в облаке, а ещё в embedded system где-нибудь на малютке NVIDIA TX2. И главное, что все эти фреймворки выложены в open source.

4. Источники финансирования
-- государство тут не нужно, ибо медленно и не успевает, и там не слишком много денег -- даже в университетах, если не рассматривать связи университетов с промышленностью. Играют же крупные фирмы: Гугль, Амазон, Фейсбук, Майкрософт, IBM, Tesla, Apple. Они могут поспорить своими капитализациями и возможности их финансового манёвра в области AI более чем широки. С другой стороны, дело новое, и всегда есть шанс новой компании стать новым лидером после нахождения killer application и изобретения новой технологии. Так что тут явная и опережающая поддержка частным бизнесом, а не государством.
-- спецвенчурные фонды и акселераторы в крупнейших фирмах (например, в Alphabet, NVIDIA и т.д.). Ну, и "простые венчурные парни" тоже уже развернулись в эту сторону и метут всё, что шевелится.

5. Платформенный принцип организации целевых систем с первых же шагов, что обеспечивает эффективное разделение труда (см. мой текст про болванов для искусственного интеллекта -- http://ailev.livejournal.com/1356016.html). Платформы позволяют разным уровням интеллект-стека развиваться самостоятельно, разными командами: модули и стабильные интерфейсы это наше всё при построении больших систем.

6. Новые кадры идут не столько через университеты (хотя и это тоже), сколько поначалу самоходно -- в Сети более чем достаточно учебных материалов от "лучших людей", наборов данных, инструментального кода. Есть даже странные феномены типа "я тут вчера научил свою первую нейронную сетку, и написал тьюториал для тех, кто идёт по моим стопам" (и эти тьюториалы пользуются почему-то не меньшей популярностью, чем тьюториалы от "лучших людей"). Единственная трудность -- это четыре семестра матана никуда из учебного процесса выкинуть нельзя, и учебный пайплайн оказывается чуток подольше, чем можно ожидать.

7. Про то, что обучение становится всё более и более устойчивым, а интерфейсы всё более и более доступными я не говорю -- но уже я слышал жалобы, что "вот пришли студенты, развернули за три дня не-пойми-что и получили результаты лучше, чем я добился за последнюю пару лет". Это лучшая реклама достижениям новой эко-системы.

Всем остальным "организаторам науки" смотреть на этих ребят, и учиться-учиться-учиться. Ведь эти стандарты поведения по организации "рынка" (или области исследований, или отрасли, или экосистемы, или сферы деятельности -- выбирайте слова сами, нет ещё таких зверей) задало буквально несколько корифеев, которые показывали личный пример и задавали планку в выстраивании всех этих довольно сложных отношений между исследователями внутри себя, исследователями и бизнесом, исследователями и инфраструктурой (те же "научные журналы" с их поборами). Даже computer science много-много лет (включая прямо сейчас) устроена по-другому.

Это я ещё не всё рассказал, дополняйте.
Thursday, July 20th, 2017
11:04 pm
Доклад "Будущее проектирования", версия 2017 года
Сегодня сделал очередную версию доклада "Будущее проектирования", вариант 2017 года. Вот слайды (https://www.slideshare.net/ailev/ss-78099355):


Это я на берегу Оки под Нижним Новгородом, на расширенной сессии по программе повышения эффективности отраслевой системы проектирования. Видео-аудио доклада не писалось.
Wednesday, July 19th, 2017
2:39 pm
Подрыв пошёл: начались продажи камеры Light L16
14 июля 2017 камера Light L16 начала отгружаться потребителям -- https://spot.light.co/welcome-to-the-world-l16/. Вот технология: https://light.co/technology, вот камера -- https://light.co/camera. 52+Мпикселя в размере 16.5*8.45*2.4см и весе 435г (сравним: у моего Xiaomi Redmi Note 4 телефона 15.1*7.6*0.83см и 175г), никаких торчащих за этими размерами объективов (при приведённом фокусном расстоянии 28-150мм), ISO до 3200, видео 4K, регулируемая глубина резкости.

У меня в презентации семинара по будущему один из примеров цепочки подрыва (disrupt) рынков из фотографии: плёночные камеры были подорваны цифровыми (сначала ужасными по качеству), а цифровые камеры были подорваны телефонами (сначала ужасными по качеству). Оставалось сделать заключительный штрих: чтобы маленькая телефонная камера (т.е. в габаритах телефона, без огромного торчащего объектива, который сегодня побольше камеры) делала снимки лучше, чем традиционная огромная цифровая зеркалка с не менее огромным объективом к ней. Именно такой аппарат и начал отгружаться потребителям 14 июля.

Вот это инженерия, вот это я понимаю.

UPDATE: почитал комменты. Похоже, мало кто понял принципы работы этой камеры. Но это ничего, ещё будет у всех время разобраться. Почему зерно у цифровой камеры не хуже, чем у плёночной, тоже долго никто не понимал. И что обычные телефоны с двумя камерами с разным фокусным расстоянием уже есть, а тут камер 16 штук в одном корпусе, и это родственные решения -- вот это не отслежено. И что фишка в том, что длиннофокусник упихнули в такой корпус, это тоже незамечено. Невнимательные читатели, что тут скажешь.
Tuesday, July 18th, 2017
2:41 am
lytdybr
Вьюнош закончил сегодня геометрию за девятый класс, и перешёл к алгебре -- там после краткого перерыва на статистику его ждёт тригонометрия. Тем самым по всем профильным предметам в новом году будет сэкономлено огромное количество времени: эти все предметы будут идти в режиме повторения. Такое опережение по физике-математике на год происходит каждое лето практически все школьные годы, так что тут ничего нового.

В пятницу сходил на милонгу и даже там как-то танцевал. Современные социальные танцы, конечно, у танго выиграют: в них нужно уметь вертеть всеми частями тела, а не только ногами. И музыка в разы и разы разнообразней. И хотя ногами в кизомбе пока ещё не крутят так лихо, как на танго, всё к этому идёт. Я ж, пока в Spicy Salsa случился летний перерыв, занялся new urban tarraxo, и теперь страдаю комплексом неполноценности начинашки. Зато системный фитнес (кодируемый названием dubstep) начал давать свои результаты -- осанка у меня изменилась уже кардинально и продолжает меняться, а шаг уже стал более-менее танцевальным (то есть не на больших мышцах, а на глубоких мышцах -- красота движений танцоров связана в том числе и с тем, что их движения определяются совсем не теми мышцами, которыми ходят и машут руками обычные люди. И потому танцам учиться долго, что эти глубокие мелкие мышцы нужно сперва накачать: а это минимально месяцы, чудес не бывает. Потом, конечно, их нужно поставить под контроль мозга, но ставить под контроль мозга можно их только тогда, когда есть что ставить -- то есть эти мышцы достаточно накачаны, чтобы ими начать пользоваться, чтобы они держали вес танцора или хотя бы часть веса).

На меня начали натягиваться штаны вьюноша, вот такой я теперь худой! Жена смеётся, что мне теперь одеваться нужно в подростковом магазине, а ему наоборот -- переходить во взрослый. Рецепт простой: перерыв в еде, а во всём остальном ни в чём себе не отказывать. Но перерыв нужен большой -- в моём случае это обычно 15-17 часов, то есть ничего не есть, а только пить с обеда до завтрака. Слухи, что работать вся эта биохимия начинает с перерыва примерно 12-13 часов. И в перерыв нельзя делать никаких даже маленьких перекусов, секрет в этом. Реклама метода -- я и довольно много моих знакомых. Сработало на всех.

Вдруг подумал, что надо бы перелистать Кена Уилбера, причём в английском варианте (чтобы не попадать в ловушки перевода). Он же системный, а я его читал ещё до того, как плотно занялся системным подходом и до того, как стал разбираться с коннекционизмом и геометрическими моделями разума. Почему Кена Уилбера? А потому как я хотел бы убедиться в универсальности своего варианта системного подхода -- чтобы с ним не только системную инженерию и системный менеджмент можно было обсуждать, но и всякое разное другое. У Кена Уилбера много чего "всякого разного другого" поминается в этой связи, у него ж "теория всего".

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210745620530678
Sunday, July 16th, 2017
11:58 pm
Об проектный метод в образовании
Можно ли сделать набор учебных проектов, для которого потребовалась бы школьная программа (например, умение решать квадратные уравнения -- для какого проекта нужно было бы это умение?!) -- вот основная тема дискуссии в https://www.facebook.com/shperk/posts/10158996896175153.

Но Яков Фельдман вдруг пишет: "метод проектов в вообще не об этом - а о способности работать группой на общую цель - вот это результат - он есть или его нет - а покрытие программы можно сделать например как компьютерный квест" -- то есть квадратные уравнения сдвигаем в игры, не имеющие отношения к реальности, а вот проекты -- они, типа, про именно проекты.

Ну, я тут не сдержался:
-- мне много раз доводилось слышать, что в проектах "учат командной работе", "учат постановке задачи" ни разу не удавалось услышать, каким конкретным методам командной работы учат, каким методам постановки задачи, будет ли владение этим методом после обучения осознанным у учеников -- нет, в головах этого ничего нет. Равно как (для начала) определиться: учить управлению проектом, процессом, программой, кейсом? А уж потом учить управлению проектом -- если это чисто сборочный проект ("стройка" по плану, известны нормативы работ) и кейс-менеджменту, если проект по разработке и поэтому up-front план создать нельзя, нормативы на работы неизвестны. То же самое про "постановку задачи" -- это ж "инженерия требований". Какие практики инженерии требований? Как мы убедимся, что ученики их освоили -- то есть смогут повторить выполнение этих практик на других проектах?
То есть заявление, что чему-то учат -- эти заявления есть. А обучения по факту не происходит, просто происходит выполнение проекта, развлекуха. Тем самым по факту транслируется советская инженерная школа, где знания по методам работы передаются в устной традиции, поэтому не обсуждаются, не документируются, не проблематизируются -- и потом только удивляемся, почему это всё приходится потом импортировать, вместе с софтовыми инструментами поддержки этих знаний.

-- Для всех, кто говорит "проектный метод" у меня презумпция того, что они не учат работать, они дают попробовать работу. Конечно, всегда найдутся талантливые, кто своей нейросеткой ухватит какой-то опыт, но вот передать этот опыт дальше, сравнить с вычитанным в книжке, научить кого-то ещё, повторить в каком-то новом проекте/кейсе/процессе/программе -- вот этого не будет, это в обучение не закладывается, это ничем не гарантируется.

-- И это, замечу, у тех же самых людей, которые обсуждают квадратные уравнения и задачи проекта. А вот, например, что руление проектом происходит либо путём отслеживания буфера проекта, либо вообще нет понятия буфера проекта в чуток других школах -- вот эта теория в упор не замечается, зато "учим работать в проектах". Нет, идут вялые попытки научить математике или физике или каким-то концептам computer science (тут тоже, кстати, проблемы у "проектных деятелей", они часто просто "учат программировать в проекте" и не понимают, чему именно учат из computer science или software engineering, да и не различают их -- не могут определить, чем учат, нет у них "программы" в теории), и они под вопросом, [как и показывают все остальные ветки треда про проекты и покрытие школьной программы]. Но нет IMHO никаких попыток научить делать проекты, это почему-то не рассматривается как предмет.

Увы, практики и дисциплины в их составе обычно невидимы -- функциональные объекты невидимы для непрофессионалов, непрофессионалы видят только конструктивные объекты. Работы хорошо видно, а практики -- нет. Работы легко обнаружить в физическом мире, а вот практики -- нужно знать об их наличии в голове, потом уже искать в мире. Это как с "физическим телом": если про него знаешь, то все окружающие предметы будут физическими телами, и что-то можно будет говорить про их полёт по параболе, об их скоростях и ускорениях, их плотности. А если не знаешь, то будет уникальный опыт полётов фломастеров, скоростях и ускорениях отдельно пуль и отдельно падающих с полок книжек: знание принципов тогда совсем-совсем не заменит знание многих-многих фактов. Будет не нормальная современная инженерия, а средневековое ремесленничество.

Вот с проектной деятельностью именно это происходит: переговоры без понимания, что там работает конфликтология, проектное управление без понимания что такое работа и чем она отличается от практики, кейс-менеджмент путём "просто использования issue tracker" без понимания, что там ведь тоже есть теория.

Вот поэтому я проектного метода чураюсь:
-- с теорией каких-то инженерных дисциплин эти "проекты" слабо связаны
-- с теорией каких-то менеджерских дисциплин эти "проекты" слабо связаны
-- с теорией каких-то иных дисциплин (скажем, гуманитарный цикл: беллетристика как "красивое письмо", художественное творчество, вокал или даже танец живота) тоже связей обычно нет.

То есть это кружки, а не образование, такой вот способ убить время, дать какой-то развлекательный (не производственный! не практический!) опыт и приобщение к "проектному кулибинству" его предпринимательской, инженерной, организационной ипостасях, в лучшем случае ремесленной работе в этих сферах. Самые талантливые, конечно, и тут выживут -- но вопреки, а не благодаря.

UPDATE: и там ещё пара-тройка моих длииинных комментов про проектное управление и кейс менеджмент, "моду на agile" и "моду на такси" в эпоху извозчиков, про нейросетки и их связь с обучением "интуиции" и т.д.. Уж не буду их сюда копировать, идите и читайте в контексте фейсбуковской беседы.

Фейсбук дискуссия -- https://www.facebook.com/ailevenchuk/posts/10210734938823642
Saturday, July 15th, 2017
8:14 pm
Единственная растущая отрасль: пропаганда
Про пропагандистскую гордость отечественной инженерией, которая не людей обслуживала, а пропаганду: в https://www.facebook.com/photo.php?fbid=10213452039877932&set=a.4443598970612.2185906.1308487843&type=3&permPage=1 в тред понабежало молодых инженеров, которым хочется погордиться совком, но которые его не застали во всей красе и видели только перестройку. Поэтому гордятся так сказать заочно, не нюхамши. Я им напомнил в комментах:
-- Мне 59 лет, я в совке достаточно пожил и много чего помню. Тут какие-то небылицы рассказываются про СССР, что он в чём-то там лучший был. Где бы я ни был, импортное всегда было лучше -- приборы в лабораториях, одежда и всё остальное, что делали руками. Все новинки появлялись сначала у буржуев -- все эти цветные телевизоры. Телефоны были редкостью. А жрать было нечего, от слова совсем. 200 граммов масла по карточке в месяц, и завтрак туриста на обед, а уж завтракать вообще непонятно чем было. Сыров было три вида всего, но их в магазинах по факту не было. Гречки в Ростове-на-Дону, где я жил, вообще не было, я с удивлением ел её только в командировках в Москву.

-- И показуха по телевизору: один летит в космос, вся страна гордится потом. А что 24 человека из США вокруг Луны летали, а 12 человек по луне ходили, а у нас четыре лунных старта "не шмогла", так об этом не принято говорить. Опять же, там и лунная программа, и изобилие продуктов питания, а у нас спутник и жрать нечего было. И приборы западные нормально работающие, из стран соцлагеря похуже но как-то работающие и советские вечно неработающие как топором деланые по сравнению с западными. Я ж помню, я ж совсем этим работал.

-- А молодёжь питается легендами сегодня, сказки про СССР рассказывает. Гордиться чем-то хочется. Ну, гордитесь, гордитесь очередями. [я-то в этих очередях настоялся вдоволь, как и мои родители и все окружающие меня люди, молодёжь этих многочасовых очередей за самыми бытовыми товарами к пустым прилавкам ведь не помнит, двадцать минут ожидания для них это "ой, караул как долго"]

-- При этом сегодня в России ни разу, конечно, не капитализм, а тот же самый совок, только чуток в профиль. И точно так же гордиться особо нечем: история продолжается, только и всего. Только сыров на некоторое время стало больше, чем три, но и с сырами ухитрились сделать перебои.

А вот тут хорошо показано, почему в России нельзя заниматься ничем инженерным: https://www.facebook.com/kirill.polovnoy/posts/1523017251094049 (суть истории: попытка изготовить теплообменник в России обходится где-то в тысячу евро и головную боль, а в Китае это оказывается в разы и разы быстрее и укладывается в полторы сотни долларов). Я давно говорил, что в России имеет шанс производиться только то, что можно легко передать по оптоволокну. С остальным шансов нет.

Я не думаю, что что-то пойдёт в текущих условиях лучше. Вчера я отдавал ведомость по группе техпредпринимателей текущего набора: треть получила какие-то оценки, две трети -- "неявка". Мой предмет при этом в передовиках, ибо ко мне студенты хоть как-то ходят. У других преподавателей или так же с третью добравшихся до финиша, или даже хуже (хотя куда уж хуже? но оказывается, что всегда есть куда!). И всё это победители хакатонов, их приглашают в аспирантуру -- больше ведь некого!

Вчера же выдавали дипломы предыдущему потоку. Я спросил: "кто заглядывал в материалы моего курса после его окончания? кто открывал после этого учебник?". Треть группы подняла руки, что весьма приятно. Но когда подумаешь, где всю эту полученную прямо в мозг двухсеместровую системную инженерию они могут употребить в дело, не выезжая из страны -- вот тут и накрывает печаль. Они же сами полны надежд, что всё будет, и всё зависит только от них. Увы, не только от них. Из одного и того же семечка на каменистой почве и в чернозёме вырастают совершенно различные растения.

Пока же усиленным темпами растёт только одна отрасль, у которой славное историческое прошлое: пропаганда. Её как раз можно передать по оптоволокну, тут Россия в первых рядах, даже с ядерной и космической державой Северной Кореей можно посоревноваться!

update: в фейсбуке обсуждают тут -- https://www.facebook.com/ailevenchuk/posts/10210722879802174
4:37 pm
Audi A8 третьего уровня автономности: в 2018
У Audi A8 в 2018 году будет третий уровень автономности, то есть на скорости до 60км в час в пробке можно будет официально не смотреть на дорогу и не держать руки на руле -- https://www.audi-mediacenter.com/en/press-releases/the-new-audi-a8-future-of-the-luxury-class-9124. Парковаться и въезжать-выезжать из гаража тоже машина сможет сама. Во время поездки можно будет смотреть кино и общаться в чате, но при скорости больше 60км в час потребуется вернуться к вождению.

Они хвастаются, что это первый в мире официально заявленный третий уровень автономности. Четвёртый уровень автономности -- это уже когда можно спать, или даже не быть на месте водителя, но ещё не везде, а только в каких-то знакомых автомобилю местах (geofenced) местах, и если машина попадает в незнакомое место, то она сможет аккуратно куда-нибудь припарковаться в сторонке и ждать вмешательства водителя. Пятый уровень это когда вообще не нужно человека в любых местах -- роботакси начинается отсюда. Вот тут подробности -- про эти уровни -- https://en.wikipedia.org/wiki/Autonomous_car.

Автономность третьего уровня будет вводиться для Audi A8 постепенно в разных странах, так как законодательство везде разное (поэтому всё растянется на 2018 год), а сам автомобиль начинает производиться поздней осенью 2017 года. Starting price for the A8 is EUR 90,600, with the A8 L starting at EUR 94,100.

При этом как-то незаметно за эти годы решилась проблема объёма компьютеров, которыми был полностью забит салон первых автономных автомобилей: этот рынок съела NVIDIA своими автомобильными PX2 -- соглашения у NVIDIA есть практически со всеми автомобилестроителями, по факту монополия. И Audi, и Tesla, и BMW, и Volvo, и Honda и даже с мая этого года Toyota.

И если года три назад вопрос о дополнительном объёме для потребных для автономии вождения компьютеров обсуждался, сегодня этого вопроса нет -- закон Мура для GPU и нейросетевые алгоритмы сделали своё дело, всё отличненько упаковалось в размеры чуть больше ноутбука.

Компьютеры для вождения ещё не все компьютеры в машине. Так, NVIDIA хвастается тем, что новая Audi A8 просто нашпигована её "неводительскими" компьютерами: NVIDIA powered MIB+ infotainment system. Its two touch screens, second-generation virtual cockpit and the new rear seat system with Audi tablets and display controller all feature NVIDIA technology, https://blogs.nvidia.com/blog/2017/07/11/audi-2018-a8-nvidia-barcelona/. И места занимают эти компьютеры почти ноль, мощности потребляют почти ноль. Говорить об автономном автомобиле как суперкомпьютере на колёсах уже нельзя, само понятие "суперкомпьютер" как-то обесценилось: что ни мелкий чип сегодня, то уж суперкомпьютер.

У Tesla автономность пока второго уровня, так что ждём очень скорых объявлений и оттуда -- они ж про уровень автономности Tesla model 3 ничего не говорят пока (см., например, мартовский материал это обсуждающий -- https://electrek.co/2017/03/31/tesla-model-3-autonomous-car/). И это всего $35000 (плюс, возможно ещё $8000 за автономность, но и это не факт).

Но гонка за выпуск первого авто третьего уровня не заканчивается выпуском новых авто. Для уже выпущенных после примерно 2015 года автомобилей автономизацией занимается comma.ai -- https://comma.ai/. За $88 фирма продаёт интерфейс к open source софту вождения автомобилей. Да, там всё хуже с "официальностью", но оно всё работает. Вот план по захвату мира ("Our mission is to build the world's first superhuman driving agent. Here is the plan): https://medium.com/@comma_ai/our-road-to-self-driving-victory-603a9ed20204. Это отнюдь не шапкозакидательные планы, ибо We currently have the third largest network [по сбору данных для алгоритмов безопасного вождения] in the world after Tesla and Waymo. Shooting for second by the end of the year. Но дальше осечка: "6. Ship the worlds first self driving cars you can sleep in (level 3)" -- похоже, Audi это сделала первой. Но не это тут главное: Due to us avoiding exotic technologies like LIDAR and RTK GPS, this cost will be low. Let’s say under $5,000. And it will be installed on your existing car.

А через три года, в 2020 году ожидается точка перегиба на всех прогнозных кривых, с этого момента всё пойдёт ну очень быстро -- про это я писал в "чистый подрыв, подо всей цивилизацией сразу", цитируя Tony Seba, http://ailev.livejournal.com/1307264.html. На это Tony Seba берёт 10 лет, к 2030 году рок-н-ролл из этого места уйдёт, а обсуждать будут уже не автономные автомобили, а какие-нибудь автомномные деревья, на которых растут булки. Или даже сразу стейки. Или даже сразу гамбургеры, почему бы и нет.

UPDATE: опечатался трижды (!) вместо Audi как Audio, но никто этого, похоже, не заметил )))
дискуссия в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210721407285362
Friday, July 14th, 2017
2:28 pm
Прогрессометр искусственного интеллекта
Фонд электронных рубежей EFF сделал проект по отслеживанию прогресса в искусственном интеллекте: https://www.eff.org/ai/metrics.

Верить тамошним данным пока можно очень условно (обратите внимание на фразы типа "AWTY, not yet imported" с длинными списками публикаций), не везде есть современные результаты, но через некоторое время там всё устаканится -- это краудсорсинг, так что есть надежда на помощь толпы.

Замеряются результаты слабого искусственного интеллекта, а там уж как пойдёт с развитием сильного. Вот так выглядит типичные графики этого прогрессометра для ещё не решённой задачи (алгоритм хуже человека) и задачи уже решённой (алгоритм лучше человека):


И таких графиков отслеживается по результатам публикаций множество.

Как этот прогрессометр использовать? Как книгу рекордов Гиннеса: берите любой вид соревнований, потренируйтесь в нём, а затем победите всех предшественников, если сможете -- и внесите своё имя в эту летопись побед. Потом будете показывать детям и хвастаться. Если не нравится считать, что это книга рекордов Гиннеса, считайте, что это олимпийские виды спорта (абсолютно то же самое, только пиар другой).

И это, конечно, не тот прогресс, который есть, но неизмерим. Например, вчерашнее достижение Гугля в списки достижений EFF не попадёт, ибо там нет "соревнования". AI гугля научился вытаскивать из гуглевских панорамных снимков профессионального качества фотографии. И даже результаты работы AI-фотографа там измеримы, хотя и несоревновательны: сколько людей посчитают, что снимок сделан другим профи, а не роботом, в материале приведены цифры (about 40% ratings they received are at “semi-pro” to “pro” levels): https://research.googleblog.com/2017/07/using-deep-learning-to-create.html. Такого неотслеживаемого никем прогресса сейчас много, он идёт как дождик.

И да, это тот самый EFF, который the leading nonprofit organization defending civil liberties in the digital world. Их обычные вопросы сейчас это DRM, net neutrality, защита свободы слова, анонимности и т.д. -- https://www.eff.org/deeplinks. Крайне удивительно было увидеть AI прогрессометр в числе тамошних проектов.
Wednesday, July 12th, 2017
1:51 pm
SpaceX и подрыв военной системной инженерии
Александр Кудрявцев указал, что SpaceX своими действиями подрывает устои системной инженерии, сложившейся в госсекторе авиакосмоса -- и указывает, что классикам ракетостроения трудно признать, что жизнь изменилась, и их когда-то прорывные технологии становятся тормозами в развитии отрасли: https://www.facebook.com/permalink.php?story_fbid=1887814108137774&id=100007276098500 (пост там "только для френдов", но я попросил его открыть, так что ждём).

Да, SpaceX осуществляет классический подрыв (disruption) сложившегося рынка. И как всегда, инженеры предыдущего поколения технологий крайне скептичны к этому и недовольны. Ну ровно как спецы по фотобумагам и фотоплёнкам крайне скептичны были к кремниевым матрицам цифровых фотоаппаратов: и зерно у них не то, и стоят они дорого, и в фотографии те ничего не понимают, и художественный эффект не тот. В дискуссии по ссылке есть примечательный коммент Сергея Симакова: "Самое прикольное, что куча советских по духу инженеров ставит конкурентные преимущества Маска как его недостатки. Причем в их рядах весьма компетентные товарищи оказываются. Он рушит их духовный сад". Всё так, ничто не ново под луной. Бояться нужно не лучших продуктов на рынке, а худших -- лучшие продукты обычно уже быстро не развиваются, ибо "от добра добра не ищут", а вот худшие стремительно развиваются.

Тут ещё важно, что речь идёт об авиакосмосе, существенно государственном и военном. Я всегда в своих курсах оговариваю, что системную инженерию ни в коем случае нельзя копировать из военных и государственных проектов, хотя именно там она и процветает больше всего. Именно там она из лекарства становится болезнью: вместо целей недопущения превышения бюджета она позволяет легко обосновывать бюджет любой величины, услужливо предоставляя аргументацию -- ведь идёт борьба с рисками, что святое.

Я не удержался, и встрял.
-- Очень правильный пост! Хотя конкретно в этом случае с Маском и прочими военными инженерами есть и нюансы. При ценообразовании "затраты плюс" нужно быть идиотом, чтобы каждый следующий проект делать дешевле и проще -- нужно было аккуратно процентов на десять в год повышать цены, и так много лет. В кулуарах это всё обсуждается, включая тщательно выбираемую аргументацию. А потом приходит человек, которому нужно не просто бюджет прокачивать (хотя до бюджета этот человек более чем охоч), а реально послать оранжерею на Марс. И понеслась, все навороченные идеологические завалы разбираются, включая появление фразы "человечество разучилось рисковать".

-- Я клиентам не рекомендую использовать впрямую стандарт ISO 15288, я его характеризую как "посмотрите, сколько всего можно было бы сделать в инженерном проекте, что можно было бы легко обосновать! Поэтому стандарт хорош только для военных и государственных контрактов, можно обосновать по нему любой бюджет -- но затраты явно будут завышены".

[ В ряде контрактов на разработку просто ставится требование заказчика - ничего не придумывать нового.]
-- Это называется "референсные решения": если хотя бы где-то решение не использовалось уже, его нельзя использовать. Именно это требование приводит к стагнации в строительстве и конструировании атомных электростанций.

[Маск говорил про системную инженерию на базе физики]
-- Там двухходовка: Маск говорил про физику и инженерную мысль (которая должна работать от первых принципов). Что же касается системного мышления, то Маск понабрал спецов из NASA, а уж с ними пришли системные инженеры -- и дальше он уже от них нахватывался. Так что у него отдельно физика и инженерное мышление, и отдельно нахлобучка системности сверху этого. Системность сама по себе не про физику, она отдельным слоем.

[если всё так быстро меняется, то нужно менять образование для "собирателей из кубиков"]
-- Что же касается образования, то у проектантов и конструкторов разные образования -- но софт там стремительно сближается, и становится очевидным, что это по большому счёту всё одно и то же. Конструирование (формирование сложной формы неразборных детальков, включая изготавливаемые на 3D-принтерах сверхсложной формы) и проектирование (сборка нестандартного из стандартных детальков) пока изучается в разных ВУЗах, но дисциплины стремительно сближаются. И системная инженерия там по большому счёту одна и та же. Так что я бы не делал тут особых акцентов. Напомню, что разница между "сборкой из кубиков" и "творением формы" обсуждалась недавно отдельной темой в треде по очередному изобретению системной инженерии в робототехнике http://ailev.livejournal.com/1356445.html

[создание нестандартных деталей в интересах нестандартной сборки]
-- Нет! Нестандартных деталей как раз полно, и на этом неплохо зарабатывают (вписывают интерфейс в условия контракта вместо того чтобы брать интерфейс из открытого стандарта -- т.е. не используют принцип "открытой архитектуры", с этим очень трудно бороться и это серьёзно удорожает контракт. Скажем, сделать дырку не стандартного размера 100, а размера 97 и балку в неё не стандартного размера 100, а нестандартного размера 97 будет в разы дороже в изготовлении -- на этом и зарабатывают). Но вот конструктивное решение будет именно "опробованное", разве что все размеры и интерфейсы нестандартные. Если сталь какой-то марки, то только она, и никаких таких композитов. Если насос какого-то древнего типа, то никаких других новых типов не предлагать. Или там быстро будет цена испытаний стоимостью клинических испытаний, но вместо потом миллионных тиражей как в медицине тираж в десяток штук для какой-то серии атомных станций -- если сильно свезёт попасть в аж целый десяток проектов.

UPDATE: дискуссия в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210691091887496
2:00 am
lytdybr
Узнал, где покупать носовые платки. Не бумажные, бумажные можно купить на всех углах. Обычные, из тонкой тряпочки, которые носят в кармане пиджака "на всякий случай". Не там, где продают одежду! Там платки исчезли, и никто не знает, где их сейчас можно найти. Но я нашёл. Их нужно покупать в хозяйственном! Я купил в "Мосхозторге", но не там, где салфетки разных мастей, а метрах в десяти оттуда -- там, где кухонные полотенца. Почувствовал себя последним из могикан, покупающим редкий аксессуар национальной одежды.

В Telegram завёлся оживлённый чатик JuliaLanguage (https://web.telegram.org/#/im?p=@JuliaLanguage) на 5 человек. Удивительно, но один из пятерых не любит Julia, а любит R. Все его обильные посты про то, что нужно плюнуть на Julia и писать на R. Мне даже интересно, зачем он пришёл в чат JuliaLan и что он ожидал там делать? Типа как католик видит чат BuddhaForeva и заходит туда попроповедовать о величии Девы Марии с требованием предъявить цитаты из Будды, которые будут явно лучше цитат из Девы Марии? Всё-таки люди удивительные существа, не устаю поражаться их целям и способам преследования этих целей. Что же касается меня, то я там прояснял свою любовь к Julia (эстетического характера главным образом) и делился ссылками.

Глава первая учебника переписывается со скрежетом зубовным, и как обычно: сверхмедленно, хотя и неуклонно. Пришло где-то тридцать отзывов с многочисленными советами в каждом, и я их честно пытаюсь как-то учесть (ибо многие и многие советы действительно достойны того, чтобы их выполнить). Вместо сокращения текста пока результатом является добавление лишних пяти страниц.

Мне передали ответ Алана Кея на мой вопрос (некоторое время назад собирали вопросы для интервью). Увы, он не ответил ничего нового, а повторил старое -- что я и так знал и даже процитировал в посте "никто не хочет учиться играть на XYZ" (http://ailev.livejournal.com/1158826.html). Мысль о том, что современный софт облегчает жизнь человека, заменяя его и делая его тупее вместо того, чтобы усиливать возможности человека стать умнее вместе с софтом (и это как раз будет компьютерной революцией) пафосна, но сказать "так давайте станем умней, давайте научимся играть на скрипке, это ж круто, это ж сложно" не получается. Похоже, что человечество пошло по линии упрощения труда каждого человека, но софт объединяет простой труд всех этих людей в огромной длины цепочки (да, софт объединяет: у тупых людей такой длины цепочки в голове не помещаются). Софт поддерживает разделение труда, и труд людей становится простым-простым -- и дальше у этого труда появляется шанс становиться сложней по мере роста мастерства занимающихся этим простым трудом людей, но он не успевает стать сложней: этот труд опять делят, заодно вынося в компьютер не только склеивающую труды составляющую (всякие issue trackers, BPM, системы проектного управления и т.д. прежде всего служат склейке труда, равно как и системы управления конфигурацией -- все эти базы данных и корпоративные информационные системы именно для обслуживания разделения труда), но и большие куски собственно труда. Надо бы на эту тему написать большой текст. А то жизнь с её автоматизационными трендами и трендами отупения есть, а каких-то моделей этой жизни нет. А нет моделей -- непонятно, что важно, трудно строить основания для собственного действия.

Сегодня уже 11 месяцев с момента возобновления моих занятий танцами. Не сказал бы, что очень хорошо танцую. Хотя явно получше многих, кто танцевал год "с полного нуля", на вечеринках я уверенный середнячок, до уровня такси-дансера в кизомбе мне далеко. Но иногда комплименты я уже получаю: на authentic уже двое партнёрш за последнюю пару недель мне сказали, что у них ощущение "вальсирования" (никогда бы не подумал, что это так воспринимается), ибо очень мягкое ведение. То есть с мягкостью ведения я более-менее разобрался. Основные танцевальные проблемы у меня сегодня -- это забываемая напрочь во время танца осанка, неуверенная тарраша (как классика, так и urban -- тут я совсем недоучка) и "перевоплощение в разных танцоров" с базой и стайлингом хотя бы для трёх вариантов -- authentic, fusion и urban.

Сегодня сменил группу authentic на группу urban kiz -- мне очень нравится authentic, но что-то занятия в группе полностью рассыпались за последнюю пару месяцев. Начиналось это на уровне сложности где-то старшей группы или около того, я был вдохновлён и едва-едва справлялся (точнее, не справлялся вообще). А сейчас там уровень упал ниже плинтуса, группа стала "открытая", никакого движения "вперёд" или хотя бы "вбок", в ногах ничего не откладывается, и я уже не понимаю, чему же я там учусь. Вот и поменял шило на мыло -- занятия там идут в одно и то же время, просто в разных залах.

А ещё я совершенно неожиданно попал в это воскресенье на милонгу в "Касабланке" (из трёх залов в двух была кизомба -- urban/fusion и отдельно authentic, а вот в третьем танцевали танго). Первое, что бросается на милонге в нос -- это запах вина в зале, и только потом уже бросаются в глаза прилично одетые танцоры. Я набрался наглости и станцевал танго. Да, прямо в майке, джинсах и кроссовках, понаблюдав два-три танца. Очень необычные ощущения: с точки зрения кизомбы парнёрша норовит к тебе залезть в подмышку и тесно прижаться щёчкой, после чего делает абсолютно гигантские шаги и абсолютно неожиданные кручения ногами. Но в целом вести вполне возможно. Я лет тридцать назад танцевал немного спортивную десятку, и танго там было, но совсем не импровизационное и другое по манере. Тут же я просто использовал вновь наработанный в кизомбе навык мягкого ведения корпусом -- и всё отличненько заработало. Думаю, что выглядел со стороны очень странно: полный новичок, но что-то такое странное ведущий. Партнёрша попросила потом продемонстрировать, как ведут в кизомбе. Я продемонстрировал. Похоже, что кизомбическое ведение чувствовалось для неё телесно даже более странным, чем мной ощущалось ведение в танго. В этой истории самое интересное то, что я за пару часов до этой вечеринки согласился сходить в пятницу на милонгу в "Планетанго". Так что за неделю на милонгах я побываю дважды.

Наткнулся на свежий ТОП-10 ютьюба -- https://tvrain.ru/articles/list-439266/. Трёх миллиардов просмотров там ещё ни у одного ролика нет, но уже близко, а Гангнам Стайл не первый в топе, а второй. Как-то отстал я от всепланетной попсы. Зато я регулярно читаю топ работ по искусственному интеллекту, но даже и там не поспеваю.

UPDATE: дискуссия в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210687243351285
Friday, July 7th, 2017
10:52 pm
Об регулирование робототехники
Вопрос про регулирование робототехники (оно нужно или не нужно?) неправильно задан -- это я ввязался в дискуссию https://www.facebook.com/dinara.gagarina/posts/1307611192620919 по поводу "В проекте программы «Цифровая экономика», который вчера обсуждал Совет при президенте по стратегическому развитию и приоритетным проектам, содержится пункт о регулировании робототехники и искусственного интеллекта, сообщает газета «Ведомости». Ожидается, что соответствующий законопроект будет принят ко второму кварталу 2019 года" (https://www.kommersant.ru/doc/3344333).

[непонятно же, что такое робот, поэтому нестрашно]
-- Электрическая пишущая машинка несомненно робототехника: молоточки приводятся в действие моторчиками, "мехатроника". Пишущие машинки регистрировались. Интернет, кстати, тоже -- без регистрации в России в него не пускают. Если есть X, и можно организовать регистрацию X, то будет организована регистрация X. Если её трудно сделать, то чёрт с ней с актуальной регистрацией, но "все будут под статьёй", что очень удобно для выборочного правоприменения. Неважно, что такое робот, но регистрировать его нужно, чтобы потом кого угодно можно было прижать к ногтю за нерегистрацию.

[но ведь всегда можно сказать, что у меня не робот, а просто "такая штука"]
-- К производителю этих штук полиция придёт, а не регулирующий орган. Регулирующий орган лишь повод прихода полиции. А туманность определения того, что такое робот тут очень даже позитивный для силовиков фактор. Все потребители и производители под статьёй ходить будут, а все разночтения будут трактоваться всеми судами в пользу силовиков.

[но ведь отрасль при регулировании хуже развивается!]
-- Так чиновников же не развитие отрасли заботит! У них дети есть, а без регулирования повода прийти и попросить поделиться у них нет. Вот и создаётся регулирование. Второй момент: крупные производители создают регулирование для защиты от потенциальных конкурентов, всяких мелких фирм, которым от чиновников не отбиться. А у них достаточно ресурсов, они договорятся и поделятся, но не сдохнут. Остальные сдохнут, это и будет "хуже развивается". А кто остался будет говорить, что "всё зашибись как хорошо, не хуже, чем в Европах". Понятно, что из иностранных законодательных инициатив в первую очередь тянут самые плохие, хорошие игнорируют. То есть "всё плохое у нас как в Европах", а хорошего, увы, нет.
10:42 pm
Танцы в пятничный вечер
Залезайте сюда, и будут вам лучшие танцоры мира, в количестве -- https://www.youtube.com/playlist?list=PLcyJjNeA7HroC0y7El2jvztmIAsPuyYAx, https://www.youtube.com/playlist?list=PLrfQuiP4c1KUTlSbaYsWTtzPIw6AnR5LN и наверняка такое ещё где-то есть, побродите там по recommended после того, как посмотрите пяток. Ещё очень интересно читать комменты к тамошним видео, там много познавательного про появляющихся в кадре танцоров.

Это очень интересная бизнес-модель: крутые танцоры приходят на мастер-классы других крутых танцоров, которые делают им крутую хореографию. Дальше всё это снимается на видео и самые крутые участники (на видео попадают человек пятнадцать, во главе с самим хореографом, а в мастер-классе участвуют человек 30-80) получают крутое видео в своё портфолио, и это видео тут же смотрят несколько миллионов человек (поглядите на цифры просмотра роликов по тем ссылкам, которые я вам дал). Герои видео разъезжаются по своим домам, и сами затем делают мастер-классы уже рангом поменьше, ведут танцевальные студии. Их профессиональный статус и популярность при этом подтверждёна и документально зафиксирована. Конечно, профессионалы участвуют в мастер-классах друг друга, поддерживая высокий уровень верхушки этой пирамидки. Всем выгодно. Дальше какие-то подростки смотрят эти видео, и вдруг решают, что им это тоже дозарезу нужно. И они идут куда-то заниматься, питая подножье этой бизнес-пирамиды.

Мой прошлый пост про хореографию high heels ссылался как раз на подобные видео с мастер-классов -- http://ailev.livejournal.com/1356187.html.

Из забавного: обратите внимание, сколько танцоров на этих роликах носит адидасовские чёрные треники с тремя белыми лампасами. Хотя бы один на ролик обязательно найдётся.

Меня несколько раз за неделю спросили, чего это я про танцы перестал писать лонгриды. Ответ простой: занят другими текстами, всё свободное время сейчас идёт на учебник. Опять же, танцами я занимаюсь не теоретически, а практически, через неделю будет уже 11 месяцев как. По этому поводу схожу в воскресенье на кизомба-вечеринку в "Касабланку" -- https://vk.com/wall-109110423_906.

Эти вечеринки из другой бизнес-модели, социальных танцев. Перед вечеринкой мастер-класс, посещение его бесплатно в случае репоста объявления о вечеринке, а преподаватели имеют свою рекламу среди участников вечеринки: это хороший шанс посмотреть на них в деле и принять решение о том, ходить ли к ним на занятия, или не ходить. То самое "первое занятие бесплатно", только выездное. Ну, и часто выкладывают видео "резюме мастер-класса", где преподаватели показывают танец с вплетением элементов преподанного -- это идёт им в портфолио. Документированию вечериночного счастья через интернет тоже уделяется большое внимание: на всех вечеринках приглашённый фотограф-профессионал запечатлевает положительные эмоции.

Ещё в этой бизнес-модели социальных танцев участвуют приглашаемые звёзды-диджеи и относительно новые в России такси-танцоры (о них http://salsa-tagano.ru/tag/kizomba-taxi-dancer/, https://vk.com/wall-24773547_10507). Например, довольно дорогой пасс на фестиваль I'm your DJ продаётся среди женского населения исключительно как "там будет 60 таксистов из Парижа!". Это гарантирует не просто наличие партнёров (про дисбаланс партнёров и партнёрш и говорить не приходится, партнёров всегда мало, а основной денежный поток идёт от девушек), но и высокий танцевальный уровень для партнёрш. Так что партнёрши могут проигнорировать крутых диджеев и крутых преподавателей мастер-классов (эти преподаватели прежде всего партнёрам нужны), и не менее крутых фотографов, но вот 60 такси-дансеров из Парижа они проигнорировать не могут -- и подпитываемая ими бизнес-машинка продолжает крутиться.
Sunday, July 2nd, 2017
2:39 am
lytdybr
Вьюнош продирается через векторы, это уже математика девятого класса. Я тут в очередной раз в разных интернет-дискуссиях сформулировал некоторые принципы его образования:
-- из физика можно сделать лирика, примеров множество. Но начиная с какого-то возраста из лирика уже не сделаешь физика. Поскольку я считаю, что общее образование должно по максимуму открывать все дороги и карьеры, а не отсекать большие сектора жизни от возможного в них участия, я бы не считал "гуманитарное образование" правильным ходом. Только потом, при осознанном выборе самого ученика -- осознанном отказе от многого в пользу гуманитарства. Помним сказочку про Ихтиандра, который умел дышать лёгкими и жабрами. А потом его держали в бочке с водой злые люди, и у него лёгкие атрофировались, и он больше не мог дышать лёгкими, так и ушёл жить под воду. Это ровно вот та же история. Нельзя делать чисто "гуманитарные" программы, это зло. Поэтому пока есть возможность, вьюнош долбит математику и физику.
-- физика привязывает математику к реальному миру, и это очень сильно влияет на мышление: оно получается моделирующим, а не фантазийно-логично-калейдоскопическое. Я не очень много знаю математиков, которые занимают разные руководящие должности и нормально справляются с менеджментом. А физиков таких знаю множество. Так что вьюнош будет долбить не только математику, но и физику тоже.
-- есть предметы, которые отворяют двери к другим предметам. Например, линейная алгебра и матан отворяет двери в огромное число физических предметов, но кроме этого ещё и в deep learning. А есть предметы, углубление понимания которых представляет из себя бег на месте, чистую трату времени. Вся олимпиадная работа во всех предметах как раз такая чистая трата времени -- это всё равно что при освоении цепочки ползать-ходить-бегать вдруг заняться олимпиадой по ползьбе и пытаться стать чемпионом мира по ползьбе, вместо того, чтобы срочно от ползания переходить к ходьбе. Так что олимпиады, всякие нацеленные на них кружки и лагеря идут фтопку, занимаемся по мере сил и возможностей необходимым хардкором. Увы, всё нормальное по линейной алгебре, матану и терверу (тройка "открывающих разные пути" предметов) начинается только в вузовских курсах. Значит быстро-быстро прогоняем математику до уровня ЕГЭ, и по возможности раньше приступаем к этим вузовским курсам. После освоения вузовских курсов уже возможны какие-то проекты -- и даже можно будет выбирать, какие (машинное обучение, робототехника, биоинформатика -- всё остромодное и остроинтересное будет потенциально доступно).

К посту "Назад, в образовательные пампасы" (http://ailev.livejournal.com/1355048.html) дискуссия в фейсбуке длится до сих пор (https://www.facebook.com/ailevenchuk/posts/10210493722273379). Я там, например, написал про школу, что к ней верны три великих принципа: "не верь, не надейся, не проси" (да, я знаю оригинальный вариант с "не бойся", но погуглите -- вариант с "не надейся" вполне распространён). А ещё там пришлось привести ссылки на разные мои тексты про curriculum -- начиная от програмы общего верхнего образования http://ailev.livejournal.com/1008939.html с дополнениями http://ailev.livejournal.com/1259411.html, заходов на классическую (неконнекционистскую) информатику http://ailev.livejournal.com/1008054.html, системное мышление, системный менеджмент, системная инженерия http://ailev.livejournal.com/1232632.html, заход на программу по рациональному мышлению и его логические основания http://ailev.livejournal.com/1311261.html. У меня есть много и других текстов про "программы и курсы" (типа "верхнее образование инженеров-программистов", http://ailev.livejournal.com/937201.html) но и этого хватит для понимания, что у меня крутится в голове из мыслей про curriculum и мои к нему подходы, если кому-то это интересно (а как я понял, кому-то это интересно). Сейчас, понятно, всё это нужно бы корректировать: тексты старые, коннекционизм с его чуйкой в этих текстах не учтён, да и вообще тексты писались давно, я тогда был глупее и сейчас многое смог бы сделать лучше. Но это всё "бы": если бы да кабы, да во рту росли грибы, то был бы не рот, а целый огород. Думаю, что эти программы своих коррекций не дождутся.

Но иногда и рядом что-то пробегает. Так, силами трёх человек сформулировали образовательный пелетон (https://www.facebook.com/shperk/posts/10158897987775153): педагоги, добавляющие технологии 21 века к практикам обучения 20 века для curriculum 19 века и для целей 18 века.

Почему-то постоянно веду разговоры про блокчейн и сопутствующие ему койны -- вчера с vvagr, а сегодня меня вообще занесло на BlockchainHack, где между обсуждениями тем культуры (хакатон идёт в Арт-центре, прямо под концертным залом) пришлось более точно сформулировать свою позицию оптимиста-скептика: я скептик по поводу всяких койнов на публичных блокчейнах (биткойн, эфириум и т.д. -- они будут маргинальны в общем объёме финансовых рынков, как и сегодня), а оптимист в том, что для extended enterprise (расширенных предприятий, которые совместно делают какие-то большие проекты) самых разных отраслей требуется вести контроль конфигурации, а это прежде всего учёт: текст про групповое мегамоделирование http://ailev.livejournal.com/1275143.html из серии постов про системную информатику даже поминает блокчейн, я просто эту линию редко подробно прописываю. Но PLM-на-блокчейне, issue- tracker-на-блокчейне -- да, так и будет, это ж всё реестры/регистры, хотя так впрямую и не называются. Жизнь идёт по этой линии, и довольно много прикладных учётных систем, работающих в составе extended enterprise могут оказаться переписанными для блокчейн-платформ. Хотя это и не предмет нездорового ажиотажа, не предмет финтеха, это весьма и весьма массовый процесс. А ещё из исследовательских линий интересны сегодня штудии про консенсус (новый подход к "собственности" -- продолжение линии рассуждений http://ailev.livejournal.com/1349656.html в новой терминологии) и арбитражи (суды-без-государства), на эту тему я жду развёрнутого поста от vvagr.

Сегодня заменил вконец уже убитый пятилетней давности Samsung Galaxy Tab Note 10.1 (http://ailev.livejournal.com/1026954.html) на новенький Samsung Galaxy Tab A 10.1 SM-T580 16Gb Wi-Fi White -- примерный эквивалент сегодняшнего дня для заменяемого планшета, только без абсолютно ненужного стилуса и без гнезда для абсолютно ненужной симки, да разрешение чуток побольше, да ещё Android 7 (Nougat) в качестве бонуса. Основная работа этого планшета будет для жены, и называется она "сериалы в постель".

UPDATE: дискуссия в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210579730023519
Friday, June 30th, 2017
10:57 pm
Фортепианный пятничный вечер с нежитью
Для отдыха предлагаю послушать классическую музыку, импровизируемую (т.е. сочиняемую по ходу исполнения) искусственным интеллектом -- https://magenta.tensorflow.org/performance-rnn. Magenta is a Google Brain project to ask and answer the questions, “Can we use machine learning to create compelling art and music? If so, how? If not, why not?”. Проект "Performance RNN: Generating Music with Expressive Timing and Dynamics" как раз отвечает на вопрос "If so, how?". И это явно не единственный из ответов.

Я бы давал это послушать разным "ценителям искусства" и просил определить -- "кто играет и кто композитор"? После того, как выяснится, что разные сорта пианистов на слух очередной слушатель различить не может, фамилий современных композиторов не знает (а на слух это точно не Бетховен), и вообще не в состоянии сказать, что это не пианист вовсе, я бы показывал исходники. Ссылки на исходники есть, создавайте и учите собственную нежить, импровизирующую фортепианную (или не фортепианную) классику (или не классику).

Такого много уже делается. Вот, например, "бесконечная народно-rnn музыкальная сессия традиционной ирландской музыки" -- http://www.eecs.qmul.ac.uk/~sturm/research/RNNIrishTrad/index.html, по этой ссылке слушать, а описание там происходящего в https://highnoongmt.wordpress.com/2017/06/14/even-more-endless-music-sessions/. Единственно что, так в этой музыке нет Expressive Timing and Dynamics. Но и текущий вариант убедителен, я его уже полчаса слушаю. Ничем не хуже обычной моей порции world music. Держу пари, что вы не отличите настоящей ирландской народной мелодии от сочинённой нежитью. Думаю, что и "знатоки" из какого-нибудь музпеда не отличат. Не поручусь, что сами ирландцы тут разберутся.

При сегодняшних темпах это всё означает, что где-то через год-два тут будет superhuman performance, т.е. в слепом тесте музыку нежити будут предпочитать музыке живых исполнителей. Другое дело, что это никому не нужно, но музыкальные хакеры всё равно это сделают, потому что могут.

Обсуждать происходящее и следить за новинками можно тут: http://groups.google.com/a/tensorflow.org/forum/#!forum/magenta-discuss

Нет, я тут про музыкальную гиперинфляцию ничего не говорил. Музыка ж это любовь, а не деньги. Любви мало не бывает, поэтому довольно скоро облюбят всех, даром, и никто не уйдёт необлюбленный!
* * *
Бонус для дочитавших до этого места: по снимкам fMRI смогли с точностью 87% различить 240 фраз, и говорят, что это неплохо генерализуется, у разных людей мысли в голове устроены более-менее одинаково (что само по себе восхитительно) -- http://www.ccbi.cmu.edu/reprints/Wang_Just_HBM-2017_Journal-preprint.pdf (кратенькая выжимка тут: https://www.cmu.edu/dietrich/news/news-stories/2017/june/brain-decoding-complex-thoughts.html). Это всё военные гранты, увы. Скажем, бежит по полю солдат, а его командир знает, о чём он думает. А командир его командира знает, о чём думает командир. Очень удобно. Они так и говорят: A next step might be to decode the general type of topic a person is thinking about, such as geology or skateboarding. К геологии и катанию на скейте влёгкую добавляется терроризм (что бы под этим словом ни скрывалось), педофилия (а то!), воспроизведение закопирайченного контента (можно будет даже поставить счётчик и брать плату за каждое обнаруженное прокручивание в мозгу) и много чего ещё другого. Во избежание злоупотреблений будет сформирована полиция мыслей, а поскольку враги тоже будут иметь эту технологию, то вспомнят о Комитете духовной безопасности (я писал о нём ещё в 2011, такие идеи ведь не умирают, а просто ждут своего времени и своей технологической платформы -- http://ailev.livejournal.com/913723.html). И я молчу про миллиардные прибыли лёгкой промышленности (не от нейромаркетинга, который, конечно, взлетит на недосягаемую высоту, а от шапочек из фольги, которые будут уходить алчущему их народу миллионами штук безо всякого маркетинга, хотя по-прежнему не будут работать).
6:36 pm
Первая российская онлайн-магистратура по технологическому предпринимательству
Открылся набор в двухлетнюю онлайн-магистратуру по технологическому предпринимательству МФТИ -- http://techpredonline.ru/. Фишка курса в том, что иногородним нужно приезжать в Москву всего два раза: для сдачи госэкзамена и для защиты диплома. Эта магистратура основана на модели кафедры технологического предпринимательства, где я преподаю вот уже пять лет, там будут и мои курсы системного мышления и практик системной инженерии в целом и инженерии требований в частности (техпредпринимательство ведь главным образом про инженерию требований!). Вступительных экзаменов два: математика и собеседование по специальности. Заявки пока принимаются до 26 июля, старт планируется в сентябре 2017. Нужно также иметь рабочий проект, но если его нет, то ментор или компания-партнёр программы его предоставят, тут всё как и на очной программе.

Проект этот новый, никто не понимает, что из этого будет получаться и как именно (то есть все понимают, но все по-разному), для МФТИ и кафедры самих это полное технологическое предпринимательство. Но не двигаться в этом направлении им уже нельзя: в каком-нибудь Орле или Пензе в 2017 году нынешние инженеры со всем их семейным операционным окружением три раза подумают, не заменить ли им переезд в Москву на очное обучение технологическому предпринимательству в МФТИ заочным обучением в Оклахоме или Иллинойсе. А тут им возможность а) никуда не переезжать, б) учиться по-русски, и в) МФТИ вроде как до сих пор считается приличным ВУЗом, хотя на эту тему и идут бурные дискуссии, равно как и дискуссии про технологическое предпринимательство в России.

Курс системного мышления в первый год на этой программе будет идентичный курсеровскому. А там посмотрим.
5:51 pm
Защита эссе в Школе системного менеджмента
Вчера прошла защита трёх эссе в Школе системного менеджмента у тех, кто брал менторство. Проекты более чем различны: совсем уж "железное железо", чистый софт, программно-аппаратный комплекс. От 18 слайдов "слайдомента" до 70 страниц вордового текста с картинками и таблицами. Но при всей разнице материала и объемов вполне было возможно обсуждение и даже обмен опытом. Системное мышление ведь как раз для этого, для универсальности рассуждений на разном материале.

Я был ментором в двух работах. Что обратило на себя внимание на защите?

1. За семь дней системным мыслителем не станешь, даже если их растянуть на три месяца. Беглости не хватает катастрофически, я только что об этом писал по итогам тренинга системного лидерства -- http://ailev.livejournal.com/1355681.html. Все рассуждения понятны, все ошибки известны, но дикий скрип мозга, когда требуется провести какое-то простое (а иногда и не простое -- проекты ведь были настоящие, стейкхолдеров там сразу несколько десятков!) рассуждение. Взять тех же стейкхолдеров: затруднения с их определением были у всех, должности и крупные организации в списке ошибок лидировали.

Путаница с самыми базовыми понятиями, несмотря на формальное понимание их всех -- скажем, совершенно неожиданно были спутаны архитектурные требования и архитектура. Для меня это означает, что в мышлении до сих пор плохо прописана граница целевой системы: что там снаружи, и что там внутри. А поэтому дальше трудно прописывать практики. А поэтом трудно дальше прописывать и делить по исполнителям работы. Трудно делить работы -- трудно ими управлять, бардак неминуем.

2. Самое трудное в каждой работе было -- найти свою систему среди чужих в холоне. Все три системы оказались нетривиальны в своих границах, у всех трёх систем оказалась нетривиальное системное окружение и использующая система. Забавно, что "железная система" (сама по себе весьма сложная) вызвала довольно много вопросов по части определения её холархии: железо кажется таким простым в этом плане, что у всех причастных и непричастных появляется (обычно ложное) понимание, что там за холон. В случае систем с софтом такого ощущения ни у кого даже не возникает -- и эти разделы эссе принимают на веру. А потом обсуждают работы, практики и т.д., не понимая даже толком, с какой именно системой работаем. Даже непонятно, сила это или слабость системного мышления, ловушка для разума или наоборот, проявление хорошей генерализации.

В очередной раз всплыло недопонимание понятия системы в операционном окружении по отношению к использующей системе. Конечно, взаимодействующие с целевой системой части использующей системы находятся в её операционном окружении. Но в операционном окружении находятся и многие другие системы, которые часто находятся на несколько уровней холархии выше, чем использующая система как непосредственно следующий системный уровень, или даже вообще где-то сбоку от главной холархии -- какое-нибудь солнце или автозаправка при рассмотрении автомобиля в составе домашнего хозяйства. Почему бы не говорить просто о системах в операционном окружении, почему нужно заморачиваться с использующей системой? Потому что при выявлении использующей системы проще обнаружить её стейкхолдеров и их интересы! На последних тренингах я этому уделял особое внимание -- что операционное окружение можно как поэлементно рассматривать, так и выделять особо использующую систему, и оба таких подхода не противоречат друг другу.

Я вот думаю, не добавить ли в курс и учебник побольше примеров холархий? У меня в последнее время много постов с разными холархиями, где я демонстрирую связанные с ними рассуждения:
-- холархия тела и системный фитнес, http://ailev.livejournal.com/1341660.html
-- холархия робототехники, http://ailev.livejournal.com/1351873.html
-- холархия искусственного интеллекта (интеллект-стек), http://ailev.livejournal.com/1356016.html

Сложность в том, что целевой системой в этих холархиях часто оказывается пропущеный системный уровень, у которого часто даже нет ни названия, так что его приходится придумывать или откапывать его в специальной литературе с описанием практик с ним работы или даже придумывать самостоятельно. Но зато когда целевая система найдена, то всё волшебным образом преображается -- но только для того, кто разбирается в предметной области, т.е. в практиках работы с этим пропущенным системным уровнем!

3. Управление конфигурацией все признают важным, но сил на это особо не тратят. От понимания до намерения действовать в этом направлении огромная дистанция. От намерения действовать до собственно действия дистанция может быть ещё больше. Я рекомендую начинать с управления конфигурацией: учёт это наше всё. Если ты нашёл свою систему среди чужих, то потом знай её конфигурацию в любой момент времени! И работай только с правильной конфигурацией!

4. Архимейт был использован в одном эссе из двух. Интересен совет, который дала аудитория этим не-использующим: "просто берите, и начинайте использовать. И всё получится, у всех получилось". Действительно, после моих курсов с архимейтом ровно такая ситуация: все, кто попробовал его использовать -- у всех получилось без каки-то дополнительных курсов и наставлений! С началом его использования после курса, скорее, психологический барьер, нежели какие-то реальные проблемы.

5. Тем не менее, появившегося даже ещё небеглого и зачастую дырявого системного мышления уже хватает для осознания оргпроблем и возможных их решений -- во всех проектах были сделаны стратегические ходы на какие-то организационные изменения, на постановку каких-то практик. И все докладчики заметили, что эссе позволяет компактно представить очень запутанное их знание о проекте. Документирование простейших списков, которые раньше держались только в уме (возможности, стейкхолдеры, состав определения системы и т.д.) позволяет дальше проводить сложные рассуждения без боязни что-то забыть или потерять. Это даёт уверенности в разговорах с разными другими людьми в этих проектах: все разговоры о частном отдельных стейкхолдеров идут без потери общего контекста проекта в целом, что оказалось чрезвычайно ценно.

Это всё конструктивизм (выучиваемое знание не появляется в голове цельным куском, оно строится по кусочкам -- поэтому даже частное мышление уже даёт результаты, не только "выучи и освой всё, и только тогда будет тебе счастье", а возможность моделирования кусочков реальности) и конструкционизм (при обучении нужно сконструировать внешне наблюдаемый объект или описание, чтобы можно было независимо оценить прихваченное в обучении знание). Работа с эссе тут очень правильная форма, даёт самую разную пользу: и обратную связь обучающимся по их текущему уровню владения материалом, и тренинг в использовании понятий курса, и даже непосредственную пользу для проекта -- проекты ведь не "учебные", а вполне "рабочие".

В кулуарах мне заметили, что в воскресенье на первом тренинге седьмого потока меня появятся несколько человек по наводкам от выпускников. Эта цепочка рекомендаций тянется аж с самого первого потока. Мелочь, но очень приятная. В воскресенье в 11:30 уже старт, а финиш будет 8 октября -- http://system-school.ru/event/kurs-treningov-sistemny-menedzhment-i-strategirovanie-7-2017-07-02/.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210562177824725
Thursday, June 29th, 2017
1:32 pm
Очередное изобретение системной инженерии
В интернетах неспокойно, снова изобретают системную инженерию, снова для робототехники -- https://www.facebook.com/shperk/posts/10158888421460153

В России не знают про системную инженерию, поэтому каждый раз пытаются изобрести её как что-то типа "общих основ инженерии". И получают описания этой самой системной инженерии, как по учебнику: для сложной системы выявить потребности, документировать требования, изобрести или подобрать из лучших известных конструкцию для проведённого функционального разбиения (т.е. разработать архитектуру), нарезать работу для разных инженеров-специалистов (электронщиков, программистов, механиков, теплотехников и т.д.), собрать их работу и решить все возможные коллизии, провести испытания проверочные и приёмочные, в ходе всего этого управлять конфигурацией (т.е. проследить, чтобы все версии соответствовали друг другу и ничего не потерялось), а также как организованы содержательные работы (скажем, с требованиями работаем до самого конца проекта, а не только в его начале), и т.д.. Это и есть системная инженерия, которая делается на основании системного подхода -- проект в целом удерживается как раз системным его видением. И этой целостности работы с проектом, конечно, нигде не учат намеренно: в российской инженерной школе считалось, что это даётся лишь с опытом реальной работы.

Новый этот тред интересен тем, что в нём ещё и зацепили разницу между конструированием и проектированием, и даже начали приводить выписки из педагогической энциклопедии на этот счёт (ох!). Проектирование это обычно сборка из готовых деталей (уже имеющих форму), а конструирование -- это когда нужно придать форму далее неразборным уже деталям. Ужас в том, что после конструирования деталей изделие из них проектируют, конструкторам в это тыкают (это во всех учебниках и ГОСТах записано), конструкторы обижаются, но ничего поделать не могут -- правда не на их стороне, конструированием занимаются главным образом низовые конструкторы, выпускающие конструкторскую документацию, а уровнем повыше уже проектирование и проектная документация. Конечно, есть постоянная склока между проектантами и конструкторами, их вроде как разные ВУЗы выпускают, разный софт поддерживает их работу, у них разные наборы стандартов нужно учить наизусть и т.д.. Но разница сегодня быстро-быстро стирается, так что спор умозрительный.

Пообсуждайте, что в случае http://www.cmu.edu/news/stories/archives/2017/june/diy-robot-design.html
С одной стороны, чистое проектирование из готовых комплектующих по понятной технологии. С другой стороны, конструирование тоже есть -- создаются детали, которые печатаются потом на 3D-принтере.

Спорщики как-то "на коленке" порождают тут бытовые какие-то определения, игнорируя всю инженерную традицию разделения конструирования и проектирования. Мой же аргумент другой: меняется сама инженерия, и поэтому традиция дохнет. Абсолютно неважно, что там конструирование и проектирование. Назовите хоть горшком, только делайте на уровне state-of-the-art.
1:47 am
Танцуют ли мужчины женские танцы лучше, чем женщины
В этих ваших интернетах вдруг возник спор, танцуют ли мужчины женские партии лучше, чем сами женщины, если возьмутся за дело всерьёз. И было предъявлено в доказательство творчество хореографов стиля high heels Yanis Marshall (https://www.youtube.com/channel/UCXeMY43gnabBULu8SGr-ndA) и Brian Friedman (https://www.youtube.com/channel/UCKlvlD5tYLcsj1q-eNZNGeQ). На их многочисленных видео одну и ту же хореографию для женщин (причём на высоких каблуках!) исполняют по нескольку раз много женщин и немножко мужчин, очень легко сравнивать. Вот, например, из свеженького июньского 2017 (https://youtu.be/pc60VhalUJw):

А дальше можете поглядеть youtube каналы этих танцоров, там много всего любопытного в стиле high heels и не только. Yanis Marshall считает, что сам он танцует в стиле Street Jazz, а разные другие люди говорят, что это всё разные изводы waaking (https://en.wikipedia.org/wiki/Waacking). И тут нужно сказать, что в вог и вакинге я неоднократно видел, как в финале встречаются парни и девушки, и парни обычно побеждают. Но я не придавал этому значения, пока мне не указали, что это закономерность.

Я пригляделся -- и да, когда танцуют только женщины, то всё ОК, но когда рядом в женских партиях техничных танцев появляются мужчины, становится понятно, что у женщин движения как-то смазаны. Так что я подумал-подумал, и пришёл к выводу, что это ж типично для спорта: на этих скоростях и в этих танцах чисто физические данные играют огромную роль: танцуем мы мозгом, но исполняет танец всё-таки тело. Именно по этой причине в спорте женщины и мужчины обычно вместе не соревнуются. Фитнес (готовность к движению) в танцах ни в коем случае нельзя недооценивать. Хотите танцевать? Растягивайтесь, качайтесь, изолируйтесь -- и не удивляйтесь, что у мужчин это может получаться круче, какой тут частью тела этот мужчина ни крути.

В этом месте, по идее, нужно бы помянуть мужскую шовинистическую свинью, но как-то это поминание не вяжется с видео по ссылкам.

Заодно про новые хореографические формы: типовой формой считается сегодня как раз вот это -- сделать какой-то довольно короткий отрывок танца, а потом разными группками (но не всей кучей полусотни выучивших это хорео на мастер-классе, а небольшими группками по двое-трое-пятеро -- охапка цветов тут менее уместна, чем три цветочка) станцевать под видеозапись. Убивается сразу много зайцев: для посетивших мастер-класс (или занимающихся в какой-то танцстудии) это отличная память, для хореографа это отличная реклама, для зрителя это возможность посмотреть на самые разные варианты исполнения вроде как одной и той же хореографии, но неизбежные варианты в разных исполнениях зрителю дополнительно доставляют.

Поскольку эта форма стала более-менее распространённой, то иногда объявляют платный даже не мастер-класс, а сразу "постановку танца и запись видео". Вот пример такой формы в кизомбе, группа Show Your Style: https://www.youtube.com/channel/UCeGg8yPxw2t0jJt4iHJKxFg. Все эти Sweden Edition и прочие из этой серии -- это постановка и съёмка на каком-то фестивале в указанной стране, за участие нужно платить денежки, в результате не только выучишь какую-то "связку", но и видео на память получишь и вроде как потенциальную славу в танцевальной тусовке. Выгодно всем.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10210546357949238
Толчком к посту был некоторый (потом выкошенный модераторами) флейм из дискуссии тут -- https://vk.com/wall-24773547_10822
Wednesday, June 28th, 2017
1:37 am
Болваны для искусственного интеллекта
В машиностроительной метафоре это было бы, конечно, "болванки", "заготовки", но в нашем конкретном случае интеллектостроения -- это болваны. Я исхожу из своей давнишней диаграммы системных уровней (платформ) для искусственного интеллекта, которая сегодня начинает выглядеть так:

Болваны -- это commodity, биржевой товар, особенностью которых является "стандартность потребительских свойств, взаимозаменяемость, хранимость, транспортируемость, дробимость партий. Конкретные экземпляры таких товаров являются легко взаимозаменяемыми (или качественно однородными) и практически не имеет значения, кто, где и как их произвёл (нефть, бумага, молоко, медь и т.д.)". Это я шпарю прямо по статье в википедии -- https://ru.wikipedia.org/wiki/Биржевой_товар

Конечно, я немного передёргиваю. И нефть бывает разной, и медь, и тем более болваны для искусственного интеллекта. И необязательно речь идёт о товарах, потому как интеллект может существовать и в виде сервиса -- в далёких облаках или даже прямо у вас в телефоне, но с сервисной оплатой за каждое использование. Уж если IBM ухитряется разблокировать дополнительные хардверные процессоры в своих mainframe на время подготовки годового отчёта, то подобные бизнес-модели использования болванов явно не загорами.

В любом случае интеллект общего вида в варианте полностью необученном и неотёсанном (болван, Маугли, tabula rasa) будет массов, похож друг на друга, и крайне дёшев. Болван -- это платформа когнитивной архитектуры общего вида, которая способна относительно легко и задёшево выучиться чему угодно -- примерно так же, как относительно легко и задёшево чему угодно может выучиться человек. Думать нужно как об очередной Wintel, iOS и Android, только исполняться на этой когнитивной платформе будут не столько традиционные "приложения", сколько компетенции, skills. И стоить дорого будут уже эти skills.

Да, я помню, что skills уже торгуются для personal assistants, и они просто умеют нажать какую-то кнопку в приложении, услышав голосовую команду. И отнюдь не все skills нуждаются сейчас в тех самых болванах. Лиха беда начало, всё это будет.

Не нужно думать о болване свысока, это всё-таки вершина технологической цивилизации. Когда я пишу, что болван относительно дёшев по отношению к задорого выучиваемым своим компетенциям, то ключевое слово тут "отнсительно". Сравните выучивание чтению, письму, рисованию болвана-человека, болвана-кошки, болвана-стиральной машины. Конечно, учить человека гораздо затратней и дороже, чем получить (то есть родить) необученного болвана. Но и необученный болван-человек в разы и разы дороже, чем не поддающиеся обучению кошка и стиральная машина.

Итого: нелинейность в ценообразовании будет исключительно на самом верху интеллект-стека, в слое инженерии прикладных платформ: покупаете в ближайшем розничном ларьке правильного болвана и выучиваете его какому-нибудь ремеслу (domain, предметная область, приложение). Обученного специалиста (бывший неотёсаный болван) продаём задорого, необученные болваны почти бесплатны по совокупности причин.

Системный подход (модульный/технологический стек aka платформенная диаграмма -- это же диаграмма системных уровней) позволяет хоть как-то структурировать новости разработчиков искусственного интеллекта. Что же там новенького с их "двумя прорывами в неделю"?

1. Аппаратура ускорителей искусственного интеллекта. Поскольку мы говорим тут о выводе и массовости, то нужно смотреть прежде всего не на архитектуры обучения, а архитектуры вывода. В этих архитектурах начинает рулить фиксированная арифметика, ибо она даёт лучшую удельную производительность на ватт. Так, в ускорителях NVIDIA с архитектурой Pascal P4 и P40 имеем 22 и 48 TOPS на int8 при 50Вт и 250Вт соответственно (http://www.nvidia.ru/object/tesla-p4-p40-20160913-ru.html). У Volta появились tensor core с параллелизацией операций "F16*F16+F32", и производительность вывода на tensor core оказывается на F16 выше, чем на int8 -- но если нужно энергопотребление, а оно становится ведущей характеристикой, то опять нужно думать о фиксированной точке. В NVIDIA Xavier, похоже, хотят получить на фиксированной точке 1 DL TOPS-per-Watt (http://www.anandtech.com/show/10714/nvidia-teases-xavier-a-highperformance-arm-soc).

И помним, что у NVIDIA ускорители для глубокого обучения всегда только часть архитектуры, а другая часть архитектуры вычисляет всё-на-свете (видео, аудио, сигналы, физику и т.д. -- общая параллельная вычислительная архитектура для моделирования). Это удобно, ибо никто не знает, какие ещё алгоритмы могут потребоваться для когнитивных архитектур, теорему бесплатного обеда (что не существует универсального алгоритма, быстрого для всех типов задач) никто не отменял.

NVIDIA это мейстрим, и от следующей за Volta архитектуры наверняка можно ждать много интересного. Хотя и от Volta архитектуры ещё не всё объявлено. Например, можно будет ожидать каких-нибудь V4 и V40 с int8 tensor core для вывода – если у P4 и P40 будут хорошие продажи.

Другое событие прошлой недели в этой области -- это попытка создать суперкомпьютер на нейроморфной архитектуре TrueNorth, которая ни для чего больше не пригодна, кроме deep learning, https://www-03.ibm.com/press/us/en/pressrelease/52657.wss. The system’s advanced pattern recognition and sensory processing power will be the equivalent of 64 million neurons and 16 billion synapses, while the processor component will consume the energy equivalent of a dim light bulb – a mere 10 watts to power.

Intel, Google и все остальные участники гонки ещё не сказали в этой области своих веских слов, но скажут. История повторяется:
-- первая волна была с микропроцессорами самых разных архитектур (на входе была разве что не сотня конкурентов с самыми экзотическими системами команд, выжил из них буквально пяток)
-- вторая волна с видеоускорителями (на старте конкуренции их было где-то 70, осталось буквально три производителя)
-- третья волна идёт вот прямо сейчас, на кону тут интеллект-ускорители, но пока на пути к неизбежной сотне альтернативных архитектур мы видим только самое начало этой гонки. С другой стороны, всё происходит настолько быстро и настолько понятно, что будет потом, что сотни архитектур тут не будет: после скоротечной драки десятка предложений рынок поделят два-три-четыре, и только.

Но так и хочется добавить ещё уровень технологического стека: нулевой, чтобы описывать происходящее с самими чипами! Помним, что прорывы идут снизу. И если текущая технология полупроводников одинаковая по сути для всех конкурентов, то есть и другие технологии -- например, фотонная. Вот эксперимент с нанофотонным процессором: http://news.mit.edu/2017/new-system-allows-optical-deep-learning-0612. Traditional computer architectures are not very efficient when it comes to the kinds of calculations needed for certain important neural-network tasks. Such tasks typically involve repeated multiplications of matrices, which can be very computationally intensive in conventional CPU or GPU chips. After years of research, the MIT team has come up with a way of performing these operations optically instead. “This chip, once you tune it, can carry out matrix multiplication with, in principle, zero energy, almost instantly,” Soljačić says. “We’ve demonstrated the crucial building blocks but not yet the full system.” To demonstrate the concept, the team set the programmable nanophotonic processor to implement a neural network that recognizes four basic vowel sounds. Even with this rudimentary system, they were able to achieve a 77 percent accuracy level, compared to about 90 percent for conventional systems. There are “no substantial obstacles” to scaling up the system for greater accuracy.

2. Драйверы интеллект-ускорителей. Драйверы аппаратуры называют сейчас "оптимизаторами", хотя я бы по-старинке назвал их "компиляторами" -- просто маркетинговые люди хотят заметить, что это "оптимизирующие компиляторы". Тренд тут -- оптимизирующие компиляторы для вывода (inference). Это отличается от "просто драйверов" (библиотек типа CUDA -- которые позволяют из высокоуровневых языков программирования обращаться к ускорительной аппаратуре напрямую).

События тут редкие, но уж не реже выхода новых чипов.

Например, недавно у вышел Apple фреймворк Metal 2, который добавил deep learning при доступе к GPU на iPhone -- https://developer.apple.com/metal/.

Из аборигенов этой ниши TensorRT 2.1, https://developer.nvidia.com/tensorrt. Это компилятор NVIDIA (раньше он назывался GIE, GPU Inference Engine), который умеет компилировать готовые модели, получаемые на платформе/фреймворке учебных алгоритмов Caffe, подробности глядеть в http://www.highload.ru/2016/abstracts/2428.html. И уже анонсирован TensorRT 3, который будет работать с ещё и с TensorFlow, и компилировать сетки на аппаратуру NVIDIA Volta.

Нейроморфные чипы были бы полной экзотикой, если бы для них не было таких же компиляторов. Так, для TrueNorth тоже есть компилятор -- https://arxiv.org/abs/1603.08270, более того, на языке corelets можно описать и другие нейроморфные архитектуры, для которых потом компилировать нейросетки. Так что упомянутый в предыдущем пункте суперкомпьютер на TrueNorth в плане его программирования на вывод отнюдь не экзотичен. И как поменяется рынок при выпуске следующего поколения TrueNorth, пока непонятно: программировать эти процессоры может оказаться с использованием компиляторов даже легче, чем ускорители на FPGA, для которых компиляторов на момент их выхода по определению не будет.

Внимание к ускорителям сейчас довольно большое, их часто включают внутрь библиотек. Так, в релизе TensorFlow 2.1 реализовано ускорение для процессоров Intel Xeon Phi. Графики там интересные, но как-то по сравнению с графиками для GPU они не впечатляют: https://software.intel.com/en-us/articles/tensorflow-optimizations-on-modern-intel-architecture. Из этой же серии ускорение deep learning на графических процессорах Intel -- https://software.intel.com/en-us/articles/accelerating-deep-learning-inference-with-intel-processor-graphics. Это всё майские 2017 работы, Intel очень долго запрягает, этих работ можно было бы ожидать год или даже два назад. А пока ждём, пока там переварят Nervana, и сколько ещё ждать -- непонятно.

3. С языками программирования и вычислительными библиотеками всё тоже бодро, хотя этот уровень практически незаметен сегодня в развитии -- выход новых версий языков и вычислительных библиотек перестал быть событием, тут уже рутина. Из относительных новинок всё-таки отмечу Julia, у которой на прошлой неделе закончилась ежегодная конференция (через месяц-другой ждём видео на https://www.youtube.com/channel/UC9IuUwwE2xdjQUT_LMLONoA) и как раз сегодня вышел релиз 0.6 -- https://julialang.org/blog/2017/06/julia-0.6-release, With a sweeping overhaul of the type system and numerous improvements to syntax and to the standard library, 0.6.0 is the most transformative release yet.

И тем не менее, языком по умолчанию в машинном обучении сейчас стал Питон, но в его вычислительной экосистеме не слишком много чего происходит. Скорее, пишут на более быстрых языках (скажем, Си или Lua), а потом только предоставляют питоновский интерфейс. Так что тут проблема двух языков ещё рванёт, ждём-с революций.

4. Никаких неожиданностей на уровне фреймворков глубокого обучения нет. Сегодняшняя новость о том, что даже Sony выпустила свой open source deep learning framework (https://nnabla.org/) уже вроде как и не новость -- одним фреймворком больше, одни фрейворком меньше, даже если это и Sony. Интерфейс? Питон, классика жанра. И ещё С++, но там the documentation is not available so far. We will make it available soon. И да, плагины к разным аппаратным ускорителям.

Конечно, время от времени появляются библиотеки типа Tensor2Tensor от Гугля, эдакая нахлобучка над TensorFlow -- и жизнь немного меняется, ибо в них реализуются самые свежие идеи и алгоритмы: https://research.googleblog.com/2017/06/accelerating-deep-learning-research.html. И ещё Гугль выпустил TensorFlow 1.2 (https://github.com/tensorflow/tensorflow/blob/r1.2/RELEASE.md), то это уже никто и не обсуждал. У фреймворков релиз за релизом, все привыкли. Вот и Microsoft выпустил версию 2 своего фреймворка -- Microsoft Cognitive Toolkit (бывший CNTK), и там поддержана библиотека Keras -- https://blogs.microsoft.com/next/2017/06/01/microsoft-releases-open-source-toolkit-to-accelerate-deep-learning/.

Keras (https://keras.io/, питон) стремительно становится самостоятельной платформой для быстрого прототипирования приложений deep learning, а все остальные платформы рады и счастливы её поддержать в части быстрых вычислений -- Keras становится поверх TensorFlow, Microsoft Cognitive Toolkit и Theano, из которых берёт платформу computational library в моей диаграмме.

Интересное тут не столько фреймворки и их расслоение на "вычислительные библиотеки" и "алгоритмы машинного обучения в целом и deep learning в частности", сколько разного сорта разбирательства со свежими идеями по архитектурам deep learning алгоритмов.

Из интересных свежих идей тут SEP-Nets, которые компилируют архитектуры известных сеток, бинаризуя их и добиваясь при этом резкого уменьшения размера сети и ускорения вычислений -- https://arxiv.org/abs/1706.03912. Ещё одна июньская идея -- Self-Normaizing Neural Network -- https://arxiv.org/abs/1706.02515. Всё это про производительность и память: уже понятно, что сетка побольше будет сеткой получше, только работать с ней становится нереально долго. Поэтому решают проблему резким разгоном сеток: сжимают и разгоняют, а потом опять наращивают размеры -- а потом опять сжимают и разгоняют на очередном поколении архитектуры, и опять наращивают сложность.

Вот ещё один вариант разгона на уровне архитектуры нейронной сети: фейсбук на Caffe2 обучил ImageNet за один час на 256 GPU -- https://code.facebook.com/posts/260115687797006/accelerating-machine-learning-for-computer-vision/. Оно понятно, что 256 GPU это экзотика, но тут просто топчется тропинка к бОльшей параллельности. Using commodity hardware, our implementation achieves ∼90% scaling efficiency when moving from 8 to 256 GPUs. И главное, что для богатеньких компаний (типа того же фейсбука или Гугля) this system enables to train visual recognition models on internet-scale data with high efficiency. Размер одного GPU больше не является определяющим фактором в архитектуре глубокого обучения.

И тем не менее, на этом уровне всё уже совсем commodity -- это всё доступно как open source библиотеки, это всё доступно как сервисы уже в облаке, воспроизводится в любой лаборатории, приоритет у первооткрывателей тут в славе и почёте, денег тут не заработаешь, а конкуренты наверняка обгонят через пару недель. Тут никаких "мыслей", "вывода" как рассуждений, reasoning (а не как inference), ничего умного, никакого интеллекта, много статистики. Просто есть какая-то функция, и она аппроксимируется более или менее точно, с бОльшими или меньшими затратами вычислительных ресурсов -- и это проверяется на каких-то простых задачах с обкатанными датасетами (вот эта парочка в лидерах: CIFAR-10 и CIFAR-100, https://www.cs.toronto.edu/~kriz/cifar.html).

5. Самое интересное происходит с когнитивными архитектурами: когда простые учебные алгоритмы типа "нейронной сетки" нужно как-то организовать на решение множества самых разных задач. Это уже сложней -- не просто сложить из нейронов какой-то отдел "мозга", а сложить из "отделов мозга" (разных нейронных сетей, оптимизированных под разные задачи) какой-то более-менее универсальный "целый мозг".

Вот тут основная схватка, и эта область пока ещё не commodity, готовую библиотечку или фреймворк тут не найдёшь, всё это строится пока над учебными фреймворками -- это всё комбинации различных сетей и иногда других алгоритмов, хитро взаимодействующих друг с другом. Типовых решений ("платформ", "фреймворков") тут пока нет, хотя наверняка появятся. И именно тут происходят по два прорыва в неделю.

Именно на этом уровне впервые можно обсудить, что вообще имеется ввиду, когда говорят "искусственный интеллект": система на этом уровне обнаруживает хоть как-то сравнимое с человеческим поведение. "Поведение" тут важное слово, от когнитивной архитектуры ожидают, что после обучения она способна на какие-то цепочки действий по достижению целей в каком-то сложном мире.

Всех новостей тут не описать, и каждая новость удивительна. Вот только несколько из них:
-- работа майкрософтовцев с их 150 агентами, которых они научили играть в Ms. Pac-Man (более непредсказуемая версия Pac-Man). Агенты играли так хорошо после обучения с подкреплением, что выбили там максимум возможных очков, 999990 -- https://blogs.microsoft.com/next/2017/06/14/divide-conquer-microsoft-researchers-used-ai-master-ms-pac-man/#sm.0001mkk2m0193of62q8j23agjll66. Оказалось, что специализированные агенты, которые индивидуалисты и не учитывают существование других агентов, управляемые одним принимающим решение агентом работают лучше, чем агенты, которые ориентируются друг на друга.
-- возможность человека ставить задачу для обучающейся машинной системы, https://deepmind.com/blog/learning-through-human-feedback/. Алгоритм обучается самостоятельно, но человек указывает, какие из результатов обучения ему больше нравятся. In some cases, as little as 30 minutes of feedback from a non-expert is enough to train our system, including teaching it entirely new complex behaviours, such as how to make a simulated robot do backflips.In the Atari game Enduro, which involves steering a car to overtake a line of others and is very difficult to learn by the trial and error techniques of a traditional RL network, human feedback eventually allowed our system to achieve superhuman results. И хотя в этой работе есть множество недостатков, о которых честно говорится, она ведёт к возможности необученным людям ставить агентам цели их поведения в сложных мирах.
-- одна из самых замечательных работ по рассуждениям об отношениях: https://deepmind.com/blog/neural-approach-relational-reasoning/. Предложен новый тип алгоритмов для задач, где требуется считать, сравнивать и отвечать на вопросы о довольно простом мире геометрических трёхмерных объектов разной формы, фактуры и цвета. И вот результат: State-of-the-art results on CLEVR using standard visual question answering architectures are 68.5%, compared to 92.5% for humans. But using our RN-augmented network, we were able to show super-human performance of 95.5%.
-- о вот этой работе не писал только ленивый: робота научили торговаться, причём ухитрились сделать так, чтобы он торговался по-английски: https://arxiv.org/abs/1706.05125. Это всё фейсбук, читайте попсовую объяснялку в https://code.facebook.com/posts/1686672014972296/deal-or-no-deal-training-ai-bots-to-negotiate/. Interestingly, in the FAIR experiments, most people did not realize they were talking to a bot rather than another person — showing that the bots had learned to hold fluent conversations in English in this domain. The performance of FAIR’s best negotiation agent, which makes use of reinforcement learning and dialog rollouts, matched that of human negotiators. It achieved better deals about as often as worse deals, demonstrating that FAIR's bots not only can speak English but also think intelligently about what to say.
-- новый способ играть в игры с попиксельным вводом экрана (классическая задача с играми Atari): попытка опереться на понимание происходящего в игре, дать какие-то возможности генерализации: https://www.vicarious.com/general-game-playing-with-schema-networks.html. What is the nature of the internal representations that leads to human-like generalization and transfer of prior experience (Lake et al., 2016)? We believe our work on Schema Networks sheds light on parts of this question. The modularity and compositionality of Schema Networks allow for wider flexibility and can accommodate changes in tasks without having to relearn the representations.
-- ... этих работ море (я перечислил отнюдь не все интересные), и будет их только больше.

Получить человеческие результаты от компьютера становится во многих задачах всё проще и проще, но на разных когнитивных архитектурах. Болваны пока явно не commodity, не биржевой товар, они не стандартизированы, у них нет своего интерфейса. На этом уровне нет своего Keras, нет TensorFlow, нет CUDA -- никаких стандартных API, никаких стандартных библиотек. Всё пока "руками", всё уникально.

Но я настаиваю, что уже через короткое время количество начнёт переходить в качество, и соответствующая платформа появится сначала над какой-то из библиотек обучающихся алгоритмов, а потом станет универсальной для всех них (примерно так, как это произошло с Keras). А потом всё одно когнитивная архитектура будет коммодитизирована, станет "биржевым товаром", очередной дешёвой платформой в виде библиотеки и облачного API. Это и будет болван, готовый к разработке на его основе каких-то приложений. Не удивлюсь, если этот болван "из коробки" будет видеть, слышать и поддерживать диалог на общие темы. Это будет почти бесплатно. Дорого будет его обучить решать какой-то определённый нужный вам класс задач.

Единственное что, так это время от времени появляющиеся какие-то "миры" для тренировки таких болванов: https://blog.aqnichol.com/2017/06/11/why-im-remaking-openai-universe/, где переделывается OpenAI Universe, I just mentioned, it seems that OpenAI has internally abandoned Universe. I’m Remaking OpenAI Universe. И таких проектов создания "учебных миров" множество. Я когда-то придумал слово КуМир как "комплект учебных миров" (https://www.niisi.ru/kumir/index.htm), чтобы детки на этом классе софта группы Аттик тренировались программировать роботов-исполнителей в различных мирах. Вот тут тот же подход, только не детки тренируются в этих мирах обучать роботов-агентов. Комплекты учебных миров становятся отдельной платформой на уровне когнитивной архитектуры, это не "просто ещё один набор данных", это "просто ещё один мир". Вот ещё один вариант платформы по "созданию миров": план Comma ai завоевать рынок безшофёрных авто путём краудсорсинга данных -- https://medium.com/@comma_ai/our-road-to-self-driving-victory-603a9ed20204, и они имеют все шансы преуспеть.

Больше болванов хороших и разных, больше когнитивных архитектур, больше миров для их обучения (если уж нашего физического мира не хватает с его медленно текущим временем и редко встречающимися задачами)! Темп "два прорыва в неделю" в этой области интересней всего. Но не забываем, что лидеры на верхних технологических уровнях обычно меняются, когда происходят резкие изменения в платформах нижнего уровня. Судя по сегодняшней ситуации, сюрпризов можно ждать отовсюду, в любой момент, никто не уйдёт соскучившись.
Monday, June 26th, 2017
1:35 pm
На выпуск шестого потока
Вчера выпустили шестой поток тренинга "Системный менеджмент и стратегирование" (9 апреля -- 25 июня 2017), раздали сертификаты.


Седьмой день был "Системное лидерство", его впервые читал Александр Турханов. Мои заметки с этого шестого дня:

1. Беглость решает всё, для беглости нужны упражнения, но упражнения практически никто не делает в достаточном количестве. При этом полностью реализуется эффект ледяной горки при обучении (учиться -- это как карабкаться на ледяную горку. Если делаешь перерыв, то материал забывается -- сползаешь с горки. Главное, чтобы скорость карабкания была выше скорости сползания. Если достиг вершины горки, то всё, забывание прекращается, материалом овладел). Это с подробностями обсуждается на метафоре поджигания (где тепло для поджигания тоже нужно доставлять быстрее, чем поджигаемое успевает остывать) в тексте "как зажечь мастерство": http://ailev.livejournal.com/1130190.html. Любое суперкрутое и суперпонятное содержание со всеми его разъяснениями отступает перед недостаточностью со стороны формы -- отступает перед недостаточностью упражнений. Прочесть книжку, через месяц попробовать решить пару-тройку задач (при уже забытом материале книги), ещё через месяц попробовать применить знания на практике (после выветрившихся из головы результатов решения задач) -- это гарантированный путь к провалу.

А.Г.Кушниренко говорил, что азы программирования (последовательность операторов, условный оператор, цикл, вызов подпрограммы) можно освоить за 8-12 часов упражнений -- и это не зависит от возраста. Беда в том, что нужно все эти упражнения сделать, а делать их никто не хочет. Учебного материала там несколько страниц текста, полчаса чтения. И поэтому 8-12 часов упражнений тратить никто на этот материал не собирается.

С системным мышлением та же беда: все учебники, слайды и небольшое время решения задач в ходе тренинга не дают беглости.

Когда же ученики начинают активно применять показанные им на тренинге практики (теоретическую дисциплину + поддерживающие её технологии), то результаты не заставляют себя долго ждать. Пример самого Александра Турханова это хорошо показывает: он просто взял материал тренинга не для "расширения кругозора", а как рабочий материал для повседневной работы. И вот у него уже связанные с этим успехи на работе, плюс исследовательская работа по системному лидерству и как результат он ещё и преподаватель Школы буквально через год после собственного выпуска.

2. Материал по системному лидерству удался, хотя его ещё чистить и чистить -- крутить цикл развития и совершенствования. Все участники были довольны, для них там много нашлось интересного. Интересное нашлось и для меня, записал себе в планы копнуть самому поглубже некоторые поминаемые там практики (например, подход EAST -- http://www.behaviouralinsights.co.uk/publications/east-four-simple-ways-to-apply-behavioural-insights/).

Увы, на самом тренинге много времени потратили на вспоминание основ системного мышления -- сказалось отсутствие той самой беглости. А системное лидерство на то и системное, что основано на системном подходе. Оно оказывается многодисциплинарно, в нём множество самых разных практик и оно требует фитнеса (готовности к действию) на основе самых разных других практик, о нём нужно рассуждать системно, его нужно организовывать осознанно, мышление о нём контринтуитивно.

Для меня системное лидерство в этой связи движение в сторону универсализации системного мышления: начали мы с приложения системного мышления к "неживой" целевой системе как основе для практик системной инженерии, продолжили с практиками системного менеджмента как работе с "неживыми" аспектами обеспечивающей системы (т.е. с акцентом на инженерии предприятия -- работе со стейкхолдерскими ролями, оргструктурой и т.д.), а дальше пошла работа с людьми как живым материалом и стейкхолдерами в одном флаконе -- сохранение элементов инженерии, но не в проектном заходе, а в заходе "выращивания", обучения, и даже "дрессировки" (чего уж там): садовничества, лесничества. Со всеми возможными циничными, прагматичными, официальными, психологическими и прочими методами описания происходящего. Это системное лидерство (которое уже попало в тренинг системного менеджмента как одна из ведущих его практик), системный фитнес и танцевальное мышление (которые пока только-только намечены как отдельные дисциплины, но ещё ярче показывают универсальность системного мышления -- http://ailev.livejournal.com/1332624.html).

3. Седьмой поток тренинга системного менеджмента начнётся уже на этой неделе, и там тоже будет семь дней с двухнедельным интервалом (2 июля -- 8 октября 2017) -- http://system-school.ru/event/kurs-treningov-sistemny-menedzhment-i-strategirovanie-7-2017-07-02/.
[ << Previous 20 ]
About LiveJournal.com