Category: технологии

Category was added automatically. Read all entries about "технологии".

2019

lytdybr

Книжки переписано 72%, а общий её объём оказывается порядка 500 книжных страниц A5. То есть я, как водится, в ходе литературной правки вписал туда сотню страниц разных разъяснений. Бета-читатели говорят, что никак не ожидали таких больших изменений. Я очень хочу обрубить приложения, и тоггда будет на сотню страниц меньше. Там ещё править терминологию, выправлять порядок изложения, и сделать какой-то набор упражнений для онлайн-курса. Обсудили, что в середине июля можно уже выпустить и книгу, и курс. Наши айтишники наладили конвертацию вордового файла в курс и обратно, так что это будет быстро.

Сегодня на методологическом совете был доклад Анны Лубенченко про системную психопрактику, а в книжке я сегодня правил ровно вот этот раздел -- про мастерство собранности, владения собственным умом и телом. Работы, конечно, невпроворот, но кругозорный курс таки на эту тему будет. С подходом/framework уже понятно, матрицу методов (viewpoints*timescales) как-то уже начали заполнять, и обсуждали выход на "йогу" -- переход от чистой теории к упражнениям на освоение теории. И вот с этим уже можно строить учебный стандарт по системным психопрактикам, приводить курс к стандартной форме: описывать владение теми или иными психопрактиками на трёх уровнях (понюхать-ощутить, уметь с трудом воспроизвести практику, иметь какую-то беглость в использовании).

Вот так бы ещё и вычислительное мышление с места сдвинуть (постановка задачи в книжке у меня уже расписана), но это уж только осенью стартуем.

Вопрос в чате поддержки системного мышления (https://t.me/systemsthinking_course/11191): не вписать ли в таблицу ролей проекта ещё и практики, выполняемые ролью. Ответ: Да, можно писать и практику. В учебнике таблица даётся в таком месте, где понятие практики ещё не раскрыто, но вы сами всегда можете добавить колонку. У меня студенты СМС2020 показывали кастомизированные формы progress reprort по альфам, где показаны были работы с каждой альфой сделанные, и практики этих работ (но не роли, хотя и их можно было указывать). Если вы разобрались, то вы формы описаний проекта строите по потребности, удобные для вашей ситуации.

Два выдающихся инженерных проекта, в которых активно обсуждается военная составляющая, но у которых есть в разы более интересное человеческое лицо:
-- SpaceX StarLink, где уже 560 спутников по 240кг каждый на низкой земной орбите начинает бета-тестирование с внешними пользователями уже этим летом, https://www.independent.co.uk/life-style/gadgets-and-tech/news/spacex-starlink-beta-users-public-how-to-wifi-register-a9570596.html
-- Boston Dynamics Spot начал продаваться через интернет за $74,500 штучка, https://venturebeat.com/2020/06/16/boston-dynamics-buy-spot-robot-74500/. Я советую получить удовольствие от просмотра вот этого видеоролика, где показывается, как им управлять и что он может "из коробки" -- https://www.youtube.com/watch?v=R-PdPtqw78k. Мне особенно понравился момент, где робот танцует прыжочками на паре ног в 9:13, по три-четыре прыжочка на каждой паре. В этот момент начинаешь понимать заявление инженеров Boston Dynamics, что с управлением робота уже давно всё в порядке, а ключевое -- это разобраться с механикой. И ещё как этот робот проходит по палете, тоже интересное зрелище. Дальше понимаем, что стоимость механики вроде как не должна падать вдвое за пару лет, это ведь не электроника, но куда ж она денется-то!

Из дома я так и не вышел, ибо я не успеваю отслеживать явки и пароли для тайных вечеринок. Но на следующей неделе уже объявлены явные вечеринки -- открываются рестораны и бары, а там танцоры вечерами не только пьют-едят! Жизнь в прежнее русло вернётся с понедельника.
2019

lytdybr

Очередной поток моего курса "Системный менеджмент и стратегирование 2020" пойдёт с 21 июня 2020 (https://system-school.ru/sms). Карантинная скидка 25% действует до 1 июня, в июне она будет 15%, в июле её уже не будет. К онлайн-курсу "Системное мышление 2019" это тоже относится (https://system-school.ru/sm2019). И ко всем остальным курсам (которые веду не я) тоже -- https://system-school.ru/

Вот сегодняшний твит François Chollet (https://twitter.com/fchollet/status/1266426784876126208), мы ровно это переносим на людей, ровно поэтому у нас в Школе нет акцента на сугубо прикладное знание:
Here's the thing about AI: you get what you optimize for. If you optimize for a specific skill, like chess or StarCraft, your final system will possess this skill and nothing else. It won't generalize to any other task.

To generalize, you must optimize for generality itself.

And for many high-value real-world tasks, that's just about every day. Consider self-driving cars, or domestic robotics. You can't enumerate the set of possible situations a driver might ever encounter -- billions of miles are not nearly enough.

You can't even enumerate the set of possible kitchens a robot might operate in. If you want to ever be able to deploy a L5 self-driven system or a human-level domestic robot, you have to figure out how to implement broad cognitive abilities -- beyond task-specific skills.
Вьюнош побывал вчера на последнем звонке, это происходило главным образом как демонстрация видеоклипов через zoom. Всё, эта каторга для него закончена. Я относился к своей школе именно как к каторге, хорошо это помню -- работать нужно, за работу никаких тебе плюшек, сбежать невозможно, всем должен и ты нижний чин в социальной иерархии. Вьюнош, насколько я понимаю, к своему лицею относится так же. Из происходящего радует только то, что он проходит сейчас курс онтологики. Но в голове у него не онтологика, а предстоящие сдачи ЕГЭ: вся школьная (и, увы, семейная -- у жены и тёщи тут пунктик) машина тщательно мыла ему мозг, что эти ЕГЭ важнее всего в жизни. А потом важней всего будут сдачи сессии, и продолжится всё то же самое (предлог незанятия ничем другим останется тот же: "иначе я попаду в армию. Поэтому все отстаньте"). Так и вырастают инфантилы -- и я вижу, что моего сына это не минует, он органическая часть своего поколения, не хуже и не лучше. Мне это печально. Мало иметь какие-то мыслительные компетенции, нужно ещё и свою жизнь уметь организовать. Вот с этим пока проблемы.

Три дня провёл в ответах на вопросы к моим последним постам, затраты времени списал по статье "просвещение". Такое впечатление, что это время мне лучше бы потратить на написание учебников ровно с теми же объяснениями, что я давал в коротких комментах. Это было бы более эффективно и пригодилось бы большому числу людей. Так что буду по возможности воздерживаться от подробных ответов всем проходящим мимо и честно делать курсы.

Сделал репост Crystal PITE's, The Statement, Nederlands Dans Theater с ремаркой "в онлайне так не посовещаешься" -- за сутки получил 55 лайков, 14 перепостов. Оно того стоит. Офисный балет, удивительная вещь -- https://www.facebook.com/ailevenchuk/posts/10218558626570946

Обнаружил, что у меня 56 дней подряд прослушивания плейлиста дня в яндекс.музыке -- вон он, режим домашнего ареста. Сегодняшний плейлист дня -- https://music.yandex.ru/users/yamusic-daily/playlists/23664675. Начинается с Роберта Планта, затем musica Andina, и такое разнообразие и далее по всем 5 часам плейлиста.

Яндекс.музыка хороша, но этого не скажешь про яндекс.новости. Главная новость там была пару дней назад -- "президент бросил ручку на стол во время совещания" (я не шучу, пару дней было в ротации по всем медиа, главное событие в жизни страны!). Сейчас в ротации -- глубокомысленное "Путин предложил определить шаги РФ после открытия зарубежных границ". Путин бы не предложил, так никто бы не догадался, что эти "шаги РФ" нужно определить! Один из заголовков -- "Мишустин включил СМИ в перечень пострадавших отраслей". Они пострадали мозгами IMHO уже давно, недаром журналист -- это вторая древнейшая профессия. Исключения бывают, это те же 5% журналистского сообщества, которые способны к понятийной работе. Эти 5% журналистов могут оперировать не только разрознёнными историями, но и их взаимоувязанными логическими цепочками -- и таких журналистов среди всех журналистов так же мало, как и думающих людей среди всего населения глобуса. Тексты этих 5% утопают в продуцируемых остальными 95% мутных потоках сознания. Пандемия глупости неостановима. С журналистами отдельно ничего не сделаешь, делать нужно только со всеми людьми в целом, повышать процент думающих. Пошёл писать учебник "образование для образованных", всем остальным ведь некогда!
2019

SoTA искусственного интеллекта принадлежит богатым, и это не случайно

Опять вспомним тезис Sutton (http://incompleteideas.net/IncIdeas/BitterLesson.html), что в AI главное -- это вычислительная мощь, а не хитрость алгоритмов. Этот тезис получил интересные теоретические и экспериментальные свидетельства в работах https://arxiv.org/abs/1909.12673 и https://arxiv.org/abs/2001.08361. Ошибка генерализации оказалась вполне гладкой степенной функцией от размеров набора данных, размера сетки (число гиперпараметров, но форма -- ширина и высота -- оказались неважными) и вычислительной мощности. Тот, у кого больше вычислительной мощности, может для данного набора данных использовать модель побольше -- и его сетка будет умнее.

Весь вопрос в том, в каких границах соблюдается эта функция. Её проверяли на разлёте вычислительной мощности в миллиард раз. Графики в работе по второй ссылке заканчиваются десятком петафлоп-дней (PF-day = 10^^15 × 24 × 3600 = 8.64 × 10^^19 floating point operations), и хорошо видно, что будет больше мощности -- можно использовать модели побольше, и для тех же самых данных (которых всегда мало) получить результаты лучше. Можно ожидать, что для самых разных видов нейронных сетей закономерности будут похожими: существенно больше вычислений -- можно брать модель побольше и получать существенно больше интеллект для тех же самых по объёму данных.

Кто побогаче (грубо: кто может себе позволить датацентры, желательно во множественном числе, цена одного расчёта сегодня идёт на миллионы долларов), тот выучит для себя AI поумнее с superhuman возможностями. Кто победнее и не имеет много денег -- выучит сеть-полудурка. Всё остальное -- бантики.

Так что организации с датацентрами (Google и DeepMind, OpenAI и Microsoft, Facebook, Baidu и очень немного других) могут похвастаться дьявольски интересными результатами. А организации победнее могут похвастаться "многообещающими идеями" и "научными прорывами".

В 2012 году входная цена в AI была пара тысяч долларов на пару видеокарт NVIDIA. Сегодня NVIDIA говорит, что делает не видеокарты, а датацентры (https://ailev.livejournal.com/1518306.html) -- и не случайно. Сегодня входная цена на тот же "мировой уровень" в AI -- пара датацентров той же NVIDIA.

Полученная формула по факту говорит, что SoTA в AI сегодня зависит от вложенных денег прежде всего. Если вы придумываете алгоритм, получающий какой-то результат не за 50 PF-days, а за 1, то более богатый коллега потратит те же 50 PF-days на ваш алгоритм -- и получит результат/интеллект лучше. Так что ваш будет приоритет по алгоритму и SoTA по эффективности (и вы сможете продать этот алгоритм коллеге), а SoTA по результату/интеллекту будет у вашего более богатого коллеги. Да, стоимость вычислений быстро падает, но SoTA по силе интеллекта будет оставаться у богатых разработчиков. А у разработчиков победней всегда будут алгоритмы получше, но выучиваться таки будут относительные AI-полудурки, далёкие от SoTA.

Множество не очень богатых компаний будет пытаться выгодно пристраивать к работе задёшево выученных AI-полудурков. Эти полудурки могут быть вполне superhuman, хотя и с узкими способностям. И их хватит для очень и очень многих интересных дел! Но это всё-таки будут AI-полудурки. Впрочем, некоторые разбогатеют, и выучат себе интеллектов поумнее. И перейдут в другую лигу.

Небольшое число богатых компаний выгодно пристроят к работе AI с широкими способностями. И за умных им заплатят больше. Кто богат, станет ещё богаче.

Увиливание этих богатых компаний от неминуемого госрегулирования будет отдельной историей, но мы тут не про это. Мы тут про формулу, увязывающую выучиваемый уровень интеллекта и объем вычислений, то есть уровень интеллекта и деньги, за которые его можно купить.

Но ведь вы об этом всём и так догадывались, даже без формулы?

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10218458850316602
2019

lytdybr

У вьюноша определилась дата первого экзамена: предпрофильный по инженерии теоретическая часть пройдёт 25 мая 2020 (вместо середины марта), с онлайн прокторингом. Содержание -- это смесь математики, физики, информатики на уровне примерно ЕГЭ, но немножко другие темы, чуть вбок от стандартной программы. Практическая часть инженерного предпрофиля (организует её СТАНКИН, дата сдачи пока неизвестна) состоит из работы в САПР Autodesk Fusion 360 (https://www.autodesk.com/products/fusion-360/): нужно будет решить "загадку", то есть поднять пару деталей из 2D в 3D, там совместить и сделать фильм из этого. Вот пример задания тренировочной работы (кликабельно):


А вот что из неё было сделано вьюношем во Fusion 360 (https://vimeo.com/416929940):

В Школе активно разворачиваются исследования психопрактического кругозора (см., например, семинары https://www.youtube.com/watch?v=ChwJrlbCEeY по нейробиологии и работе с вниманием, https://www.youtube.com/watch?v=IhKsucYapRM с обсуждением психопрактического кругозора). Я сам уже дошёл до того, что перечитываю "Интегральную духовность" Кена Уилбера (русский https://yadi.sk/i/UJ2VbS4s9X3DLQ, английский https://yadi.sk/i/ABze3f98XAxQZg). Уилбер интересен тем, что показывает работу со множеством viewpoints в области психопрактического, и даёт некоторый сравнительный обзор этих методов описаний. Читать это трудно, потому как описания на нормальном западном языке вдруг начинают через запятую перемежаться с описаниями на санскрите и тибетском (абсолютно намеренно), а нормальный структурированный язык с аргументами медитациями с Большим числом Больших Букв (не менее намеренно: автор очень чётко понимает, на какую аудиторию рассчитаны его книжки, а каждая пара глав заканчивается приглашением на его тренинги и прочие онлайн-активности. Хех, я и сам в этом плане не лучше, только акценты другие). Я читал этот текст в черновике (он выпускал это вначале как интернет-черновик для сбора откликов), и это было как раз перед тем, как я занялся системным мышлением, а заодно глубоко погрузился в онтологический проект. Сейчас его тексты читаю совсем другими глазами, и у меня там совсем другие с ним согласия и совсем другие разногласия. В любом случае, он очень хорошо описывает работу с различными viewpoints в области психопрактик и смежных областях, его текст хорошо стимулирует размышления. А уж как он всех ругает в этой книжке! Любо-дорого читать (русскоязычный вариант без мата, а в англоязычном варианте и мат имеется). В том числе он под орех разделывает и системных мыслителей первого поколения. Сам Уилбер, конечно, в Белом Плаще и на Красном Коне, Всеохватный и слившийся с Богом и Миром, безупречный в Логосе, тьфу, Логике, и разящий Мечом Отсекания Иллюзий, ныне и присно. При этом очень внятно объясняет, почему уходящие медитировать и молиться вдруг оскотиниваются. Хотя можно поспорить с аргументацией этого объяснения, но печальный результат всех этих буддизмов и индуизмов в местном западном исполнении он красочно и убедительно показывает. И критикует спиральную динамику (и много ещё подобных методологий) в попытке приложить их к сообществам-обществам. Очень верно критикует.

Новый тип развлечения: робот-пародист. Вот, например, Milton Friedman читает P.I.M.P. рэпера 50 Cent -- https://www.youtube.com/watch?v=4mUYMvuNIas. Ayn Rand and Slavoj Žižek read "Barbie Girl" by Aqua -- https://www.youtube.com/watch?v=h56WLqdD-7I. Jay-Z читает Ветхий Завет -- https://www.youtube.com/watch?v=ET-fpmq2bek. Такого там полторы сотни -- https://www.youtube.com/channel/UCRt-fquxnij9wDnFJnpPS2Q/videos. Забавность в том, что копирайтеры наехали, и часть работ с Jay-Z (пока только часть) потребовали убрать: несмотря на то, что это полностью творческая работа, вроде как "голосовой образ артиста" нехорошо брать -- уж больно похоже на настоящего, похожей любого пародиста. Инфляция творческого продукта! Вместо пары песен в месяц у самого Jay-Z робот cможет выдавать пару тысяч треков в месяц (каждому фану с его личными настройками!) -- и кому после этого нужен оригинал, если он не придумает с нуля совсем что-то новое, и это новое роботы тут же обесценят?!

А тут вообще всё придумано AI -- в стиле Frank Sinatra, https://soundcloud.com/openai_audio/jukebox-265820820. Хотя я про этот OpenAI Jukebox уже писал, но послушайте хотя бы эту песенку (тут впервые в синтезированную с нуля музыку включили ещё и вокал -- сочиняют мелодию, аранжировку в заданом стиле, слова и теперь ещё и поют. Отпустите ещё пару лет на улучшение качества, ещё пару лет на уменьшение цены генерации, и год на поиск бизнес-модели. И здравствуй, новая музыкальная индустрия. Небольшой совсем неполный обзорчик -- https://habr.com/ru/company/audiomania/blog/501224/).
2019

Опубликован подкаст "Проветримся!" с моим рассказом про системное мышление

Вышел подкаст "Проветримся!" со мной (сезон 3, эпиздод 11) -- http://progulka.yamshchikov.info/231736/3611611-live. Где-то час двадцать я отвечал на вопросы о системном мышлении (ну, и о мышлении в целом). Хост подкаста -- Иван Ямщиков, он занимается проблематикой искусственного интеллекта. Многие мысли он в ходе разговора предсказывал ещё до того, как я их проговаривал -- потому что ему была понятна логика самого рассказа! Для меня этот подкаст был приятным подтверждением, что мои идеи не из далёкого будущего -- они вполне из настоящего. Это фронтирное настоящее, люди-на-фронтире меня вполне понимают.
2019

Дело спасения утопающих -- дело интеллекта самих утопающих

Со всем этим бардаком/кризисом/сингулярностью/апокалипсисом/правительственным террором/(подставьте сами какой-нибудь экзистенциальный риск) может справиться только достаточной силы интеллект, ибо интеллект это и есть решатель новых классов проблем (мы тут идём по линии, предлагаемой François Chollet в https://arxiv.org/abs/1911.01547, я уже писал об этом подробно в "развиваем способности, а не компетенции" https://ailev.livejournal.com/1498481.html и "Спасайся, кто может: поднимайте свой интеллект, ибо непонятно, от чего спасаться" https://ailev.livejournal.com/1505596.html). Магистральный путь цивилизации -- усиление интеллекта. Если хватит интеллекта, то человечество справится с теми бедами, на которые интеллекта хватит. Если не хватит интеллекта -- никто не обещал, что вселенная к людям дружественна.

Этот интеллект и его мышление мы рассматриваем как многоуровневый -- и верхние его уровни находятся не столько в рамках одной головы или одного компьютера, сколько распределённы по многим головам и компьютерам.</b> Подробней про это я писал в разделе "интеллект-стек мышления в выполнении проектов", https://ailev.livejournal.com/1508228.html, но можно обобщать это и за пределы производства:
Обратите внимание, что ниже уровня проекта поведение его называется "мышление", а выше этого уровня поведение коннекционистски распределённого по многим мозгам и компьютерам интеллекта (https://ru.wikipedia.org/wiki/Коннекционизм ) называется "культура". Рядом с верхними уровнями через разделитель (|) приведены названия для полных практик (мышления+изменения мира), а не только практик мышления. Также мы назвали и оргроли, у которых есть эти практики (а оргзвенья, назначенные на эти оргроли, кроме мышления поддерживают действия по изменению физического мира своим оборудованием и инструментами, включая и тела исполнителей оргролей в этих оргзвеньях, плюс их компьютеры, станки, машины и т.д.):
-- глобальный производственный распределённый интеллект -- глобальная производственная культура | глобальное производство -- производственный уклад
-- распределённый интеллект эко-системы (спонтанный порядок!) -- культура эко-системы | эко-система -- практики эко-системы
-- распределённый интеллект предприятия (расширенное! не юрлицо!) -- культура предприятия | предприятие -- практики предприятия
-- интеллект команды проекта -- мышление выполнения проекта | проект -- практики жизненного цикла
-- прикладной интеллект -- прикладное/компетентностное мышление | проектная роль -- практика
-- кругозорный/деятельностный интеллект -- кругозорное/деятельностное мышление | деятельностная роль -- метод (т.е. набор всех практик, служащих для выполнения работ какой-то деятельности "под ключ")
-- системный интеллект, вычислительный интеллект -- практика системного мышления, практика вычислительного мышления.
-- онтологический и коммуникационный интеллект -- практика онтологического мышления
-- функционально-ориентированное сознание -- практика функционально ориентированного сознания (и тут могут быть и другие низкоуровневые части онтологического и коммуникационного интеллекта, которые и интеллектами назвать трудно. Скажем, механизмы, обеспечивающие theory theory -- "машинка типов объектов, удерживающая theory theory и поднимающая тревогу на уровень сознания при её искажениях и переходах на иные теории концептов, например при встрече метонимии или метафоры с теорией прототипов")
Для развития глобального распределённого интеллекта можно предложить:
1. Поразбираться с тем, как устроено бесконечное развитие (open-endedness), и получить интеллект в том числе как его результат
2. Усиливать интеллект отдельных людей
3. Усиливать интеллект отдельных программ (при всей условности того, что это такое -- даже таких больших, как программ, живущих во многих дата-центрах)
4. Обеспечивать распределённое коллективное мышление (сети из компьютеров и людей, дальше это будут сети сетей, и т.д. по системным уровням вверх. Раньше это было "нейронет")
5. Обеспечивать должный уровень embodiment (как развитие body control у людей, так и использование роботов)

1. Интеллект как результат бесконечного развития (open endedness)
Человечество в целом научается (learn, "научает себя" -- инопланетян, которые бы обучили человеков, нету. Цивилизация всё сама, всё сама!) решать всё новые и новые проблемы. Вот это-то свойство справляться с новыми (неизвестными даже учителям!) проблемами активно изучается сегодня в области AI, и всё чаще это называют open endedness (https://ailev.livejournal.com/1463013.html): работа алгоритмов, которые одновременно создают всё более и более сложные проблемы и всё более и более умных агентов, которые могут эти проблемы решить. Фишка тут в том, что для уже известных алгоритмов машинного обучения не получается агента научить решать сложную задачу "с нуля". Но если гнать его через постепенно усложняющийся набор задач, то оказывается, что научить можно! НеФишка в непрерывно идущей и не кончающейся эволюции пар "проблема -- агент", а не в подготовке агента для решения какой-то одной очень сложной и уже известной проблемы! В этом плане самое интересное из недавнего -- это публикация "Enhanced POET: Open-Ended Reinforcement Learning through Unbounded Invention of Learning Challenges and their Solutions", https://arxiv.org/abs/2003.08536. Unbounded Invention of Learning Challenges and their Solutions -- это ж бесконечное изобретательство проблем для самонаучения (обучать-то некому, проблемы специально изобретаются новые!) и их решений (воспитание агента, который может успешно решить все проблемы какого-то класса -- агента, у которого сформирована необходимая компетенция). Вот этим и должен заниматься интеллект! Непрерывно развиваться, чтобы мочь решать новые и новые проблемы!

Идея бесконечного развития пока ещё не слишком распространена в умах, понятие open ended algorithm плохо понимается. А ведь речь идёт как раз о творчестве, как его ни понимай:
-- хоть системном творчестве, которое понимаем как преодоление известных противоречий (https://ailev.livejournal.com/1425331.html)
-- хоть об архитектурном творчестве, которое понимается как нахождение новых архитектурных решений (работы по линии open endedness как раз по этой линии, примеры технического прогресса показывают, что его нельзя планировать, футурология бессильна, https://ailev.livejournal.com/1254147.html, we cannot know in advance the stepping stones that must be crossed to reach a far-off achievement. Science’s history repeatedly confirms this kind of lesson: Microwaves were invented not by food-heating researchers but by those studying radar; and computers were not invented by optimizing the abacus to increase computations per second, but because scientists invented vacuum tubes and electricity for entirely unrelated purposes.
-- хоть о художественном творчестве (я приводил в пример свои любимые танцы: высшее танцевальное образование должно давать возможность свободной работы с разными стилями и тем самым позволять изобретать новые стили, вносить свой вклад в развитие танцев -- https://ailev.livejournal.com/1375140.html и близко примыкающий по смыслу и поминающий системные уровни https://ailev.livejournal.com/1365583.html).
-- тут же идея, что развитие многоуровневое: определяющими тут являются обычно нижние уровни, которые потом дают основу многочисленным верхним уровням во всём их разнообразии. И переход на другую "элементную базу" (какой бы она ни была) перекраивает наверху в технологическом стеке буквально всё.

В идею бесконечного развития входит и идея конкуренции/эволюции, как необходимой для развития (конкурируют между собой и проблемы за "интересность", и агенты за "интеллектуальность", AlphaStar и GAN рассматриваются как часть идей по этой линии рассуждений), и определение "интересности" проблемы в том, что "из коробки" какие-то уже известные ужасные решения других проблем начинают отлично работать даже без оптимизации и доводки как отличные решения для проблем новых -- вот это и есть предпринимательское "интересно" (подробней см. в статье про Enhanced POET, https://arxiv.org/abs/2003.08536).

Но есть и линия рассуждений про ровно то же самое как конкурентное (тоже!) нахождение всё более и более удачных репрезентаций мира, что позволяет решать всё больше и больше проблем: это теория любопытства и творчества через "сжатие информации" (там главным образом Шмитхубер). Вот я писал пару лет назад (https://ailev.livejournal.com/1411106.html):
В частности, речь идёт о теории креативности/любопытства Ю.Шмитхубера и другие теории творчества -- https://ailev.livejournal.com/1251987.html, -- http://ailev.livejournal.com/1293469.html. Более того, для меня тема творчества и сжатия информации является центральной в широко обсуждаемых дебатах Yann LeCun и Christopher Manning про Deep Learning, Structure and Innate Priors (http://www.abigailsee.com/2018/02/21/deep-learning-structure-and-innate-priors.html) -- эти самые innate priors в какой-то мере отражают абстрагированные/сжатые и выраженные в устройстве мыслительной машинки знания о мире! Для меня системное мышление это ведь тоже удачно найденные innate priors. И значения слов (отражение всех возможных мыслей в пространство слов) тут тоже priors, только более гибкие -- их можно довычислять/обдумывать их смысл, а устройство самого вычислителя более ригидно по отношению к его обдумыванию. Да что там, вся наука работает на сжатие информации, я недаром всегда говорю про науку как поставщика не просто описаний окружающего мира, а компактных описаний. VPRI -- viewpoints research institute (это Алан Кей сотоварищи, http://vpri.org/) оказывается по его идеологии тем же самым: поиском лучших абстракций, "сжимателем информации". Хорошо сжатый код вы можете хотя бы прочесть, а потом очень сложно обработать в мозгу/компьютере. Плохо сжатый код у вас не будет шанса просто прочесть из-за его огромного объёма, хотя его обработка проста. Компактность в конечном итоге выигрывает. Хотя на примере тех же работ VPRI и скрипки Энгельбарта видно, что steep learning curve выигрывает среди ленивых людей -- компактность оказывается не единственным критерием, а увеличение объёма простой обработки компенсируют разделением труда, а не умощнением процессора. Скрипка Энгельбарта заменяется симфоническим оркестром на 80 человек, играющих на разных свистульках. А что, разделение труда и параллелизация тоже работает! Но не для всех задач работает хорошо, увы.
Были и попытки автоматического нахождения хороших репрезентаций, например Douglas Lenat с его Accretion Model of Theory Formation (http://ailev.livejournal.com/469995.html). Да, это всё старинная модель символических репрезентаций (помним, что representation learning это как раз про сжатие, абстракции, работу с паттернами/узорами бытия -- https://ailev.livejournal.com/1045081.html). И вот уже работаем с глубокими коннективистскими структурами, продолжая с поиском представлений не вручную, а при помощи суперкомпьютеров. Вот свежайшая работа самого Юргена Шмитхубера по lifelong learning -- там по факту два режима: обучения и последующего сжатия обученного -- One Big Net For Everything, https://arxiv.org/abs/1802.08864".

Конечно, есть и просто улучшения алгоритмов для известных проблем. Так, Agent57 играет лучше людей во всех 57 видеоиграх Atari -- это впервые достигнуто вот прямо сегодня, https://deepmind.com/blog/article/Agent57-Outperforming-the-human-Atari-benchmark. Но этот алгоритм сочинили люди, текущий распределённый интеллект (показана история алгоритма, как он постепенно изобретался своими разными частями). Текущие усилия в том, что этот алгоритм должен был бы быть изобретён без участия человека. Но мой тезис в том, что в любом случае компьютеры и люди будут над этими изобретениями работать вместе, так что не так уж и важно: компьютер или человек сделал последний тюнинг для алгоритма. Важно, что алгоритм таки появился и работает. И это общий алгоритм для довольно разных задач одного класса, который умней человека: With Agent57, we have succeeded in building a more generally intelligent agent that has above-human performance on all tasks in the Atari57 benchmark. It builds on our previous agent Never Give Up, and instantiates an adaptive meta-controller that helps the agent to know when to explore and when to exploit, as well as what time-horizon it would be useful to learn with. A wide range of tasks will naturally require different choices of both of these trade-offs, therefore the meta-controller provides a way to dynamically adapt such choices. А вот и Педро Доминго отметился в конце марта, он добавил "человеческих priors" в алгоритм и We evaluate our approach on a subset of the Atari benchmarks, and learn up to four orders of magnitude faster than the standard deep Q-learning network, rendering rapid desktop experiments in this domain feasible. To our knowledge, our system is the first to learn any Atari task in fewer environment interactions than humans -- это в https://arxiv.org/abs/2003.01384.

В любом случае, интеллект будет получаться в ходе конкурентного изобретения всеми наличными интеллектами ещё более сильного интеллекта, это банально эволюция. Самую крутую программу напишет уже не человек, а программа (которую тоже напишет программа, которую тоже напишет программа, в написании которой поучаствовал обученный ещё какой-то другой программой человек, и так далее: везде будет обнаруживаться развесистый граф растянутого в пространстве и времени совместного человека-машинного коллективного творчества).

2. Для усиления интеллекта людей нужно:
-- обучать их прежде всего трансдисциплинам, каждого. Чем ниже в интеллект-стеке трансдисциплина, тем больше её влияние на интеллект. Беда в том, что чем ниже в интеллект-стеке трансдисциплина, тем ниже стимулы к её освоению. И да, коммуникация с другими людьми и коммуникация с компьютерами -- это тоже трансдисциплины.
-- задействовать компьютеры для усиления интеллекта каждого. Это программа усиления интеллекта Дугласа Энгельбарта и многих других "шестидесятников" (https://en.wikipedia.org/wiki/Intelligence_amplification). Это цель компьютерной революции ещё одного "шестидесятника" Алана Кея, я пересказывал его интервью (https://ailev.livejournal.com/1363194.html, июль 2017): "компьютерная революция будет не в тот момент, когда компьютер сумеет автоматизировать что-то ещё (разгрузит человека), а в тот момент, когда наоборот, компьютер сможет быть использован для того, чтобы человек смог выполнять более сложные задачки. Ну, типа компьютер из лестницы, ведущей мозг вниз, станет лестницей, ведущей мозг вверх. Конечно, для этого нужно будет дополнительно учиться, как учатся играть на скрипке (и тут я не могу не напомнить "Никто не хочет учиться играть на XYZ" -- http://ailev.livejournal.com/1158826.html, рынок такое не оплачивает). Но для этого нужно поменять всю систему образования, а для этого нужно осознать, что происходит развал цивилизации".

Собственно, я тут довольно много писал текстов в последнее время, так что читайте мой блог, там много на эту тему. Я со Школой системного менеджмента работаю по факту в этом направлении (см. стратегию https://ailev.livejournal.com/1508030.html и видео доклада по этому тексту https://www.youtube.com/watch?v=y5bC28DDWD8). Дальше можно говорить о том, что интеллект ещё и предметно-специфичен (инженерный, менеджерский, танцевальный и т.д.). Вот мой курс "Системный менеджмент и стратегирование 2020" (https://system-school.ru/sms) поднимает менеджерский интеллект, после него люди способны разобраться с ситуациями в менеджменте, о которых даже я не знаю в момент их обучения. И этот курс серьёзно опирается на трансдисциплину системного мышления (а та -- на онтологику, а та -- на более базовые механизмы работы интеллекта, см. доклад "Онтологика 2020", https://www.youtube.com/watch?v=8D8cfcJ20zI).

3. Для усиления интеллекта отдельных программ (а хоть и таких больших, как занимающих целый датацентр):
-- прежде всего выполнить тезис Sutton о росте вычислительной мощности как определяющем факторе (bitter lesson, http://incompleteideas.net/IncIdeas/BitterLesson.html). Это прежде всего новая "нецифровая" аппаратура: аналоговые оптические вычислители (поглядите свежие тексты про уже работающий такой аппарат, там победа за победой: https://www.lighton.ai/our-technology/), квантовые вычислители (нет сомнений, что они будут хорошо работать с алгоритмами AI-- https://venturebeat.com/2020/03/12/d-wave-quantum-computing-and-machine-learning-are-extremely-well-matched/, хотя люди из deep learning не очень хотят ими заниматься, а у разработчиков их есть дела и поважней, AI всего 20% от применений квантовых компьютеров сегодня. Пока же алгоритмы AI помогают решать их собственные проблемы: https://www.nature.com/articles/s41534-019-0241-0 -- тут AlphaZero вместо шахмат и шоги занялась проблемами оптимизации квантовых вычислений, и добилась нетривиальных результатов), мемристорные вычислители (в июле 2019 появился первый работающий мемристорный компьютер, https://spectrum.ieee.org/tech-talk/semiconductors/processors/first-programmable-memristor-computer).
-- если мощность у нас константа, то нужно просто применить правильные алгоритмы. Так, если у нас суперкомпьютерное имитационное моделирование физики (например, вычисления погоды), то можно ускорить вычисления с использованием нейросеток в миллиард раз, получая результат на 99.9% идентичный оригинальному варианту (https://www.sciencemag.org/news/2020/02/models-galaxies-atoms-simple-ai-shortcuts-speed-simulations-billions-times, метод DENSE, The emulators that DENSE created, in contrast, excelled despite the lack of data. When they were turbocharged with specialized graphical processing chips, they were between about 100,000 and 2 billion times faster than their simulations. That speedup isn’t unusual for an emulator, but these were highly accurate: In one comparison, an astronomy emulator’s results were more than 99.9% identical to the results of the full simulation, and across the 10 simulations the neural network emulators were far better than conventional ones. Kasim says he thought DENSE would need tens of thousands of training examples per simulation to achieve these levels of accuracy. In most cases, it used a few thousand, and in the aerosol case only a few dozen. Этот метод основан на новом алгоритме поиска нейронной архитектуры ENAS, который в 1000 раз быстрее предыдущих, https://arxiv.org/abs/1802.03268, it delivers strong empirical performances using much fewer GPU-hours than all existing automatic model design approaches, and notably, 1000x less expensive than standard Neural Architecture Search. On the Penn Treebank dataset, ENAS discovers a novel architecture that achieves a test perplexity of 55.8, establishing a new state-of-the-art among all methods without post-training processing. On the CIFAR-10 dataset, ENAS designs novel architectures that achieve a test error of 2.89%, which is on par with NASNet, whose test error is 2.65%). В эту же точку бьёт инициатива SciML (https://sciml.ai/2020/03/29/SciML.html) -- научные вычисления с использованием машинного вычисления (нейросетки, дифференцируемое всё и алгоритмы решения дифференциальных уравнений в одном флаконе, это продолжение работ по ускорению научных вычислений в десятки тысяч раз на прежнем железе, типа https://arxiv.org/abs/2001.04385 -- Our examples show how a diverse set of computationally-difficult modeling issues across scientific disciplines, from automatically discovering biological mechanisms to accelerating climate simulations by 15,000x).
-- алгоритмы машинного обучения ускоряют работу обычного компьютинга: компиляторов, операционных систем, датацентров (вычисляют параметры кеширования, параметры разбиения графов на части и т.д., вот небольшой обзорчик: http://deliprao.com/archives/354. Это всё сегодня, и рецепт один: там, где стоит руками подобранная какая-то константа для всех типов применений, можно поставить вычисляемое на основе статистики по текущим задачам переменное значение -- и получить удивительно приятные эффекты, типа ускорения в сто раз или уменьшения фрагментации памяти на 78%).

4. Обеспечивать распределённое по людям и компьютерам мышление
Для того, чтобы обеспечить распределённый по людям и машинам интеллект, нужно связать людей и компьютеры в сеть, которая обеспечит их коллаборацию/сотрудничество. В описании деятельности это коммуникационный акцент -- и думайте при этом, например, о DEMO (https://ailev.livejournal.com/644440.html) для коллабораций уровня а хоть и расширенного предприятия, а на более высоких уровнях эко-систем и далее глобуса в целом (свободного рынка) всё в разы менее очевидно, но и тут справляются: электронная торговля и социальные сети тут только маленький кусочек всего происходящего.

Раньше технологическая поддержка коллаборации как часть усиления людского интеллекта (по мотивам работ того же Энгельбарта) шла у нас под кодовым именем "нейронет" (пока не появился проект РособороннейронЭт, https://ailev.livejournal.com/1261047.html), но можно поглядеть на более ранние работы, например 2014 года (https://ailev.livejournal.com/1123738.html): "Сапдейтили понятие нейронета: раньше был "эпоснет", когда знание передавалось в устной традиции, потом "букнет" для письменной традиции, потом "интернет" с его гуглём, поиском, социальными сетями, а уже потом будет "нейронет", когда "нейро" переместится в саму сеть и "нечеловеческие и/или сверхвалидные узлы" станут активными переустроителями как себя, так и самой сети ("САПР переместится в систему", как я это называю). Техническая реализация интерфейса непосредственно от нейронов к сети тут не самый важный и интересный момент, как не самый важный момент в развитии самого интернета переход от интерфейса интернета от толстеньких CRT-дисплеев к дисплеям на смартфонах и планшетах и прохождения самого интернета не по проводам, а через WiFi или LTE. Как говорится, в играх побеждает лучший геймплей, а не техническая реализация полигонов: кто и в какую игру играет важней, чем на каком движке оно сделано (но разные движки позволяют при этом делать разные игры, это тоже забывать нельзя)".

Тут из интересных инициатив я бы назвал даже не человеко-компьютерные интерфейсы (мысли уже читают, но это нам не нужно: клавиатура, мышка и даже голос с жестами оказываются много надёжней и быстрей). Более интересны факты про сетевую инфраструктуру, ибо тут тоже действует тезис Sutton, только для глобального вычисления: или мы имеем суперкомпьютеры на плохих сетях -- и суперкомпьютеры обеспечивают компактность передаваемой информации; или мы имеем маломощные узлы и широкие быстрые сети -- результат общей производительности вычислений будет тот же. Так что нужно и суперкомпьютеры в узлах иметь, и сети побыстрее, чтобы общая производительность вычислений выросла). И вот тут я бы обратил внимание на:
-- 6G выйдет в 2030 году со скоростью в 8000 раз выше, чем 5G (https://www.vanillaplus.com/2020/03/23/51484-zte-elaborates-6g-challenges-innovations-2nd-6g-wireless-summit/, https://telecoms.com/503142/consensus-on-6g-is-gradually-forming/)
-- только что предложено сделать таки новый интернет (и международный скандал уже вовсю бушует, ибо в лидерах предлагающих Huawei): https://naked-science.ru/article/hi-tech/huawei-sovmestno-s-kitajskimi-vlastyami, https://www.gizmochina.com/2020/03/31/china-and-huawei-propose-a-new-internet-protocol-with-a-built-in-killswitch/, The telecommunications giant has stated that the update is vital to powering “holo-sense teleportation” and self driving cars.
-- StarLink уже имеет на орбите 360 спутников, и цель -- подцепить к интернету 3-4% населения земного шара, которые живут в далёких от цивилизации местах, https://www.zdnet.com/article/new-spacex-launch-starlink-now-has-360-internet-beaming-satellites-as-us-service-nears/. Запуск сети в эксплуатацию (хотя и с минимальным покрытием) -- уже в текущем году. То, что обанкротился конкурент OneWeb (https://thenextweb.com/hardfork/2020/03/30/oneweb-collapse-internet-space-race-leo-satellite-bezos-musk-back-on/), так это неважно, спутниковый интернет не остановить.

На усиление интеллекта пойдёт незначительная часть этих сетевых мощностей. Основная мощность пойдёт на то, чтобы обеспечивать удалёнку с телеприсутствием-голографией. Не хотите переклеить свои обои в гостиной на дешёвые экраны 15К? Это пока не хотите, а когда будет выбор между относительно дорогой голографией с эффектом присутствия и дешёвыми 15К плоскими обоями, вопрос в 2030 году будет по-другому звучать. Напомню, что этот сценарий со стенами гостиных хорошо прописан Рэем Брэдбери в 1953 году, в "451° по Фаренгейту", и на стенах этих транслировались отнюдь не достижения глобального распределённого интеллекта. Но и сейчас вся наука и инженерия занимают крошечный сетевой трафик, порносайты и киносериалы тут лидируют с огромным опережением. Вряд ли ситуация изменится через десять лет, когда все эти сегодняшние проекты станут реальностью. Тут нужно ехидно заметить, что и сегодняшние нейронные сетки это показывают: основное использование технологий DeepFake тоже будет не в науке и медицине, а на порносайтах и опять же в "важнейшем для нас искусстве после цирка" -- кино, вернулось ведь нечитающее поколение!, так что ещё совсем немножко и в политике, https://www.forbes.com/sites/ibmai/2020/03/31/4-steps-financial-services-firms-can-take-with-ai-to-improve-customer-experience/).

5. Embodied intelligence
Интеллект ничто, если он не изменяет мир. Спасение от всяких напастей -- оно в физическом мире, для спасения недостаточно дать умный совет. Нужно ещё действие, изменение мира к лучшему. Понятно, что мир голыми руками не изменишь. Так что тут отслеживаем появление роботов -- как складских (только в Amazon их сейчас более 200тыс., и другие фирмы тоже закупают их тысячами -- https://techcrunch.com/2020/03/11/dhl-will-deploy-1000-robots-from-locus-robotics-for-delivery-fulfillment/), так и животно- и человекоподобных (полюбуйтесь на прогресс у Boston Dynamics за 10 лет и прикиньте, что будет ещё через десяток лет -- https://www.businessinsider.com/boston-dynamics-robots-progress-10-years-is-astounding-terrifying-2020-3), и вообще странной формы (типа магазина без кассиров, от Amazon -- https://www.forbes.com/sites/ilkerkoksal/2020/03/30/amazon-officially-selling-cashierless-store-technology-to-retailers/, и Besides Amazon, there are other startups selling similar technology systems such as Grabango, AiFi, and Zippin). По большому счёту, сюда можно отнести и летающих роботов SpaceX (интеллект, управляющий космическим кораблём, а также интеллектуальный космический корабль без разделения на управляющий компьютер и железо корабля -- это ж классические фантастические сюжеты! И это ведь чистая правда!). То, что фейсконтроль и турникет -- это тоже такой робот, я молчу, это все уже осознали, и это уже работает сегодня.

Мы понимаем, что выход в физический мир тут крайне важен. И я бы отслеживал по этой линии компьютерную поддержку системной инженерии: прежде всего эволюционирующие и дифференцируемые архитектуры (https://ailev.livejournal.com/1464563.html) и digital twins (то есть точные компьютерные модели). Это, конечно, прикладные задачки для текущего распределённого интеллекта, но фишка их в том, что результаты этой человеко-компьютерной мысли будут воплощены в физическом мире. Industrie 4.0 термин уже протух (Гугль новости показывают, что все новости по Industrie 4.0 прошлогодние, кончилось финансирование и кончились пиарные бюджеты -- https://3dprint.com/259437/adidas-kills-the-speedfactory-industrie-4-0-funeral-date-not-yet-set/, Industrie 4.0 is despite all the hype and subsidy dead. The Germans are, through one of their most internationally known and largest firms, publicly now stating that Industrie 4.0 was a subsidy trough). Но слова умирают, а инженерия и производство (и строительство, не будем исключать его из инженерии) продолжаются совершенствоваться. Помним, что фирма Apple выпустила Newton, и потерпела неудачу, и все смеялись. А потом фирма Apple выпустила iPod, iPad и iPhone. И уже никто не смеялся. Так и с выходом инженерии в физический мир: сначала умелыми руками, потом умелыми станками, а потом вообще как-то будет "само". Было бы для решения тамошних проблем достаточно мозгов (помним тезис Sutton: побеждает в конечном итоге количество).

И да, ещё нужно бы развивать тела у людей, куда ж без этого. Тот самый системный фитнес, готовность к сложному координированному движению. Мы работаем над этим (кстати, мы сумели курс перевести в дистантный -- регулярные занятия в онлайн уже идут, https://t.me/labolatoryTM/1168).

Надо как-нибудь отдельный текст про выход интеллекта в физический мир написать. Но это уж потом, когда я из онименяизоляции (ага, унтер-офицерская вдова сама себя изолировала, понимаю) выберусь -- а то и так в посте слишком многабукофф.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10217966608570866
2019

Системный менеджмент и стратегирование 2020

Я вношу много изменений в содержание курса "Системный менеджмент и стратегирование", и меняю его название -- там теперь будет цифра 2020 (а не 2019, как сейчас). Текущий семнадцатый поток уже многое из этого получает, но с 5 апреля 2020 (первое занятие курса) это "внеплановое содержание" станет уже вполне запланированным и будет доноситься более упорядоченно.

1. Основное изменение -- это тренинг в работе с системными уровнями, особенно системными уровнями социотехнических систем. Проблема была в том, что системные уровни понимались статически, и неизбежно это было "мёртвое" понимание design-time/enabling, а мы будем менять его на "живое" представление run-time/operations, а затем тренировать использование системных уровней в мышлении о предприятии. Нет в мышлении системных уровней -- нет системного мышления! Это необходимое, хотя и недостаточное условие для системности мышления. Мы начнём с простого примера "танец" (в отличие от автомобиля и атомной электростанции его трудно представить вне динамического контекста, и в нём уже есть люди как материал и как исполнители проектных ролей, и он очень нагляден), потом займёмся менее наглядными примерами системных уровней в мышлении (интеллект-стек -- https://ailev.livejournal.com/1507279.html, https://ailev.livejournal.com/1508228.html), в софте (https://ailev.livejournal.com/1508747.html), в бизнесе (целевые системы "лот", "сделка", "сессия", "мероприятие" и т.д.) и в практиках в общем виде. Разбирательство с окружением, выход в "культуру" как практики более высокого системного уровня. Вот системные уровни практик/деятельности -- это и есть системные уровни деятельности предприятия. Мы будем безжалостно тренировать тот факт, что системные уровни -- это выделяемый вниманием уровень деления системы на части (а не способ сборки-разборки на части! Разобранный даже мышлением на части организм -- это мёртвый организм, нам такой не нужен! Нам нужно выделение частей живого организма вниманием в момент, когда организм живой!).

2. Часть курса по разъяснению ролей переделана, чтобы сшить в мозгу кусок схемы понятий системного мышления про интересы-предпочтения-намерения и кусок про интересы-ролевые методы описаний-ролевые описания (https://ailev.livejournal.com/1505852.html). А то инженеры по требованиям (до прохождения моего курса это "аналитики"), предприниматели/стратеги и менеджеры всех мастей предпочитают делать акцент на первый кусок и игнорировать второй, а архитекторы -- выпячивать второй кусок и игнорировать первый. А надо бегло использовать в мышлении и то, и другое.

3. В разговоре о программном обеспечении более чётко будет проводиться линия о софте как механистически понимаемом "сознании" (механизм присмотра за вниманием к памяти и входному потоку информации -- https://ailev.livejournal.com/1488271.html) организации в противовес "автоматизации". Функция "бумаги и ручки" (базы данных и отчёты) оказывается важней функции "сам думает"! Софт понимается как необходимая часть для координации деятельности людей в предприятии, не выделяется отдельно в "цифровизацию" или "интеллектуализацию" -- https://ailev.livejournal.com/1497402.html. А дальше пообсуждаем интеллектуализацию: по каким линиям идёт "скриптование" (автоматизация), и по каким линиям идёт включение программ AI в бизнесе. У нас в курсе это всегда было, но сейчас будет сделан акцент (перенесена часть материала из курса по AI).

4. Мысли Питера Сенджа про learning organization обновлены в части подъёма интеллекта организации, в явном виде добавлено про нижние уровни практик мышления в проекте и в организации как способе ускорения развития. Идея многоуровневости развития. Идея связи стратегирования и целеполагания против разработки и реализации стратегии и целей корпоративных (декомпозиция/каскадирование целей -- balancing scorecards, KPI)и личных (OKR) -- где там стратегирование, а где лидерство, в чём фишка cadence/цикличности. Более чётко связь с open-endedness (прихват идей из статей типа https://arxiv.org/abs/2003.08536 -- продолжаем гармонизировать идеи из мира искусственного интеллекта и традиционные идеи из гуманитарных дисциплин типа организационного развития и предпринимательства).

5. Чётче проработано донесение контринтуитивных моментов курса (подробней они в https://ailev.livejournal.com/1503099.html -- отличие ролей от людей и должностей, материальность целевой системы, различие функциональных и конструктивных частей, понятие практики, разница между управлением проектами-программами-кейсами-процессами, инженерная и лидерская части в развитии и совершенствовании, цикличность как наше всё в менеджменте).

6. Мы запустили онлайн-курс системного мышления, и он будет доступен курсантам (первая часть курса идёт как blended learning). Там ожидается довольно много интересного: от запуска помидорок на 25 минут прямо в интерфейсе курса (помогаем удерживать внимание) до привязки дополнительных материалов и разъяснений прямо к разделам учебника.

Тут нужно было бы писать что-то про дистантную работу на курсе, но это у нас уже хорошо отработано с предыдущими версиями. Я не думаю, что тут будет много изменений: у нас всегда было много участников курса из разных стран, и они у нас активно участвуют в онлайне. Хотя могут быть эксперименты, мы не зарекаемся.
2019

lytdybr

Перевёрстываю слайды по машинному интеллекту 2019, ибо лекцию читаю уже в это воскресенье. За пару недель произошло много чего интересного: двинулся leaderboard в SuperGLUE (человек: 89.8, T5 от Гугля: 88.9), Waymo в аризонском Фениксе стало возить без страхового водителя несколько сот человек (подписавших соглашение о неразглашении), автомобили могут видеть за углом при помощи анализа едва заметно меняющихся теней (ShadowCam: when sensing and stopping for an approaching vehicle, the car-based system beats traditional LiDAR — which can only detect visible objects — by more than half a second), а ещё добавил про superhuman машинные переводы на WMT в этом году. Средства самоцензуры брендов в социальных сетях (чтобы случайно не нарушали законодательство в своих высказываниях), выявление плохих пицц и плохих работников в Domino (и чтобы откреститься от "технологии слежки" компания говорит, что это "инструмент для обучения" -- ткнули в тебя пальцем, сказали, что ты плохой работник, и пиццы твои плохие, так это обратная связь, тебя просто учат!). А ещё несколько команд выдали AI, сдавшие наш ЕГЭ и даже прошли порог поступления в вузы. Quantum supremacy в таком состоянии (после заявлений Гугля и отповеди IBM), что игнорировать её дальше уже нельзя. Опыт показал, что такую обзорную лекцию по машинному интеллекту можно прочесть за день (это ведь будет уже второе прочтение, первое было тут: https://ailev.livejournal.com/1492738.html). Но машинный интеллект используется практически везде, где используется человеческий интеллект, и поэтому однодневную лекцию тут читать примерно так же, как читать однодневную лекцию про человеческий биологический интеллект: "люди крайне умны! Сейчас я вам по-быстрому расскажу, что это такое, и где это применяется". И в этой шутке есть только небольшая доля шутки.

В старом XPS 13 2015 батарейка таки вспухла (я ужаснулся, когда её увидел вытащенной. Вовремя я спохватился! Ещё б чуток, и её бы просто разорвало) -- заменил вчера её на новую, и заметно покривившийся старый ноутбук тут же стал ровным. Без устали колочу в админский бубен над новым ноутбуком. Например, полный интернет записей о том, как убрать приветственный и блокировочный экран в Windows 10, но если пароля нет, то эти инструкции не работают. Убрать блокировочный экран без входного пароля в Windows 10 можно вот по этой тайной (нашёл только на одном форуме) инструкции: в "Выполнить" введите "gpedit.msc", а затем нажмите Enter. В появившемся редакторе локальной групповой политики в левой панели, перейти к Конфигурация пользователя> Административные шаблоны> Система> Варианты действий после нажатия CTRL+ALT+DEL. Справа, найдите параметр "Запретить блокировку компьютера" и дважды щелкните по нему. В окне свойств, которое откроется, выберите опцию Включено и нажмите кнопку ОК. Теперь вы можете выйти из редактора локальной групповой политики. Изменения вступают сразу без перезагрузки. можете проверить сразу нажав на (Windows + L) картинка с кнопкой "войти" не появится. Если в любое время вы хотите включить блокировку, выполните ту же процедуру и установите эту опцию обратно как "отключен" или "не настроен".

Пока изо всех проблем с новым ноутом я хоть как-то удовлетворительно я не справился только с multirow tabs в FireFox 70. Это оказалось отдельным приключением (при этом на старом компьютере у меня они есть!).

Сходил на семинар Ronie Saleh по музыкальности в кизомбе, написал об этом вот тут: https://vk.com/wall2449939_2449. Я уже третий год попадаю на его семинар, предыдущие тексты можно найти по ссылкам в первом абзаце тут: https://ailev.livejournal.com/1452638.html. А вообще про танцы разную методологию я продолжаю писать в https://vk.com/buffdance. Те, кто танцует со мной кизомбу уже признают, что у меня в танце не кизомба - но что? Зук, хастл, бачата, хотя я ничего этого не танцую, и говорят всё такое разное про одни и те же движения. А это я просто танцую общую основу для всех этих танцев: шаги да повороты в разных направлениях. И каждый в них видит своё родное-знакомое и называет своими такими разными именами. А вообще-то я как-то снизил в октябре время активного танцевания, с октября какой-то невиданный поток вечерних рабочих мероприятий. И до вечеринок добираешься дай бог к 22 часам, если вообще добираешься.

Дом завален звёздными картами в количестве, ибо астрономия сейчас проходится в 11 классе. Вовремя, вовремя. Грузовой Starship хочет прилуниться ещё до 2022 года, после чего почти сразу летать туда с космонавтами на борту, а спутников связи Starship будет выводить по 400 штук за один полёт (а всего их планируется 30тыс. штук на орбите, один из самых амбициозных инженерных проектов сегодняшнего дня) -- https://www.cnbc.com/2019/10/27/spacex-president-we-will-land-starship-on-moon-before-2022.html. Вот сейчас это похоже на настоящее развитие, ибо для денег и пользы людям, а не просто для военных целей или для славы.
2019

Big Neuro: триллионы транзисторов на чипе, квинтильоны и квадрильоны операций в секунду

Буквально за несколько лет мы пришли в мир Big Neuro -- в коннективистских архитектурах, то есть "нейросетях" счёт переходит с миллиардов/гига на триллионы/тера и даже квадриллионы/пета, а пока изредка и квинтиллионы/экза (короткая шкала -- https://ru.wikipedia.org/wiki/Системы_наименования_чисел).

Самый большой чип ускорителя для нейросетей -- это 1.2триллиона транзисторов на 42тыс.мм2, Cerebras Wafer Scale Engine компании Cerebras Systems, изготавливаемый на фабриках TSMC -- https://venturebeat.com/2019/08/19/cerebras-systems-unveils-a-record-1-2-trillion-transistor-chip-for-ai/, https://www.forbes.com/sites/tiriasresearch/2019/08/20/ai-start-up-cerebras-develops-the-most-powerful-processor-in-the-world/#26b4e5a86592. Это в 57 раз больше, чем чип V100 фирмы NVIDIA с 21млрд.транзисторов на 0.8тыс.мм2. Скорость обмена данных с памятью -- 9петабайт/сек, ещё одно Big. The energy cost of communication in this architecture is well under 1 picojoule per bit, which is nearly two orders of magnitude lower than in graphics processing units. В компании Cerebras Systems работает всего 194 человека (хотя мы и не знаем, сколько у них разработчиков было в подрядчиках, тем не менее -- это ли не восхитительно?!).

Конечно, это не сравнится с суперкомпьютером. Так, Summit (запущен в эксплуатацию год назад -- https://blogs.nvidia.com/blog/2018/06/08/worlds-fastest-exascale-ai-supercomputer-summit/) имеет 27648 NVIDIA V100 и 200петафлопс (умножений плавающей) и 3exaops, экза/квинтиллионов операций умножения-сложения целых в секунду -- это помньжьте "пета" ещё на тысячу, миллиард миллиардов. At 200 petaflops — If everyone on Earth did 1 calculation/second, it would take 1 year to do what Summit does in 1 second. At 3 exaops of AI — If everyone on Earth did 1 calculation/second, it would take 15 years to do what Summit can do in 1 second. А сколько занимает места этот Summit? Два теннисных поля! Следующий за V100 чип для текущего нейро-поколения AI -- это Huawei Ascend 910, который имеет удвоенную производительность (закон Мура продолжается для GPU!), но это всего вдвое, 0.25PFLOPS, 0.5PTOPS, по факту того же класса чип -- https://medium.com/syncedreview/huaweis-first-commercial-ai-chip-doubles-the-training-performance-of-nvidia-s-flagship-gpu-86e4d0078f6f

Cerebras Wafer Scale Engine это всего один чип, хотя и потребляет он 15Квт на свои 400тыс. AI вычислительных ядер -- примерно столько же, сколько потребляло бы эквивалентное количество одиночных чипов. Чудес-то не бывает, вычисления требуют энергии.

Самая скандальная языковая модель (модель языка в нейросети) была скандальна ровно потому, что она оказалось достаточно большой, чтобы произвести нетривиальные результаты -- это GPT-2 от OpenAI, которую даже отказались публиковать из-за боязни злоупотреблений в использовании. В ней было 1.5B параметров, 0.0015P. Только что опубликовали сокращённую вдвое модель -- https://venturebeat.com/2019/08/20/openai-releases-curtailed-version-of-gpt-2-language-model/. Но десятые триллиона уже никого не останавливают, только что опубликовали независимо реализованную языковую модель такого же масштаба с практически такими же результатами: https://medium.com/@vanya_cohen/opengpt-2-we-replicated-gpt-2-because-you-can-too-45e34e6d36dc. Потолок цены тренировки такой модели -- $50К, и есть много возможностей снизить цену -- основная цена это те самые чипы и электроэнергия на их работу, сколько на их охлаждение.

И этих чипов нужно много. Чтобы обучить языковую модель BERT всего за 53 минуты потребовалось 1472 GPU V100, это 92 компьютера DGX-2H ценой $399тыс., то есть там только аппаратуры для этого почти часового счёта на почти $40млн, https://devblogs.nvidia.com/training-bert-with-gpus/). И это не самая большая модель! В работе по этой же ссылке https://devblogs.nvidia.com/training-bert-with-gpus/ указывается, что была натренирована модель GPT-2 на 0.0083 триллиона параметров, при этом достигли 15.1 PetaFLOPS sustained performance!

Конечно, речь не идёт о том, чтобы заниматься сетями на 1 триллион параметров. Но если речь идёт о какой-то модульной конструкции из сотни (возможно, совсем неодинаковых) сетей (и, возможно, совсем не сетей) на 0.01 триллион параметров каждая -- то вот такая когнитивная архитектура явно сможет много больше, чем текущие даже самые большие сетки.

При этом сами сетки тоже становятся лучше. Полно работ, которые снижают время обучения и число параметров вдвое-втрое-вдесятеро без ухудшения качества работы сети. Но пока -- чем больше сетка, тем чудесатей результаты. Даже сильно ужатая сетка огромна и требует огромного времени обучения. И это невозможно достичь без выхода на Big Neuro.

А дальше Big Neuro сочтут маркетинговым термином, под которым будут понимать что угодно. Очень скоро будут обсуждать, как и с Big Data, что дело не в размере, а volume, veloсity, veracity, variety, value, variability (https://www.researchgate.net/figure/Six-Vs-of-big-data-value-volume-velocity-variety-veracity-and-variability-which_fig15_280124446) и ещё больше каких-нибудь V. И все формулировки можно будет брать из BigData, и все маркетинговые слоганы.

Но технологически это новый чудесатый мир, где если недостаточно мозгов, то просто добавь транзисторов. А если достаточно мозгов, то тоже добавь транзисторов.

Следующая история, конечно, про симуляторы мира. Чтобы обучить нейросетку, нужно построить виртуальный мир -- и обучать дальше сетку в этом мире, ибо в виртуальном мире эволюция идёт быстрей, чем в реальном мире. Нужно много-много симуляторов. Следующая большая история -- это логические вычислители, которым тоже хочется аппаратной поддержки (вот примеры работ, которые пытаются ускориться на текущих архитектурах вычислений -- https://arxiv.org/abs/1810.06617 и https://www.cyc.com/wp-content/uploads/2015/04/AAAI-SharmaA.1646.pdf, и такого много. Вполне возможно, что тут как с нейронными сетями поможет задействование аппаратного ускорения для получения нетривиальных результатов). Понятно, что будут попытки "повторить мозг" -- перенести логические вычисления в нейронные сетки (neural logic machines -- https://arxiv.org/abs/1904.11694, embedding of knowledge graphs -- https://arxiv.org/abs/1908.07141 и т.п.), равно как моделировать физику не уравнениями, а прямо нейронной сеткой -- https://ai.facebook.com/blog/phyre-a-new-ai-benchmark-for-physical-reasoning/. Смогут ли текущие ускорители AI на нейросетках сработать для этих же задач так же качественно, как могли бы сработать специализированные компьютерные архитектуры?

Ответ прост: нет, не смогут. Алгоритмы там везде разные, поэтому работает теорема бесплатного обеда: тот вычислитель, который хорош для одних задач, будет ужасен для других задач. Так что нейровычислитель будет хорош только "в среднем по больнице". И мы увидим в ближайший десяток лет ещё много разного и чудесатого -- и аналоговые спецвычислители, и универсальные цифровые архитектуры (для препроцессинга и постпроцессинга видео, физических вычислений, логических вычислений, вероятностных вычислений, а также и для вычислений в deep learning). Жизнь уже интересна, счёт транзисторов пошёл на триллионы -- и спецвычислитель BigNeuro на триллион транзисторов может сделать команда из меньше чем 200 человек.

А пока болеем не за динамо и спартак, а за участников этого чемпионата искусственных мозгов -- aNLI, https://leaderboard.allenai.org/anli/submissions/about. Это продолжатели дела CYC, они хотят закодировать common sence, здравый смысл. И сделали на эту тему соревнование. Рассказ про abductive commonsence reasoning -- https://arxiv.org/abs/1908.05739. У людей в этом соревновании 92.9% правильных ответов. У нейросетки BERT Large Finetuning -- 66.75%. У CYC (там ведь как раз цель соревнований была дизайн-целью) -- неизвестно, у IBM Watson (это ж победитель "Jeopardy!", по сути это ж то же самое) -- неизвестно. Но там много-много лет ручного кодирования знаний, а BERT тренируется, как мы знаем, за 53 минуты (грубо говоря, читает за это время в себя если не всю Библиотеку Конгресса, то сравнимый объём текста). А ещё было бы забавно увидеть соревнующимися там не только нейросетки и логические вычислители, но и людей. Скажем, команда победителей что-где-когда сколько бы решила в этом соревновании? Не смогла ли выдать больше ли 92%? С другой стороны, и это соревнование тоже ни о чём: нобелевские лауреаты и крутые политики обычно не эрудиты, а эрудиты и другие победители викторин не так уж и заметны в других сферах жизни. Но мы всё равно болеем.

Но причём тут Big Neuro и решение задач, объявленных в этом соревновании по использованию здравого смысла в рассуждениях? Напомню тезис Rich Sutton (http://www.incompleteideas.net/IncIdeas/BitterLesson.html): прогресс в AI определяется доступной вычислительной мощностью при простых алгоритмах. Размер решает. Текущая самая большая нейросетка GPT-2 8B пока всего в 24 раза больше BERT, текущего победителя соревнования по объяснениям на основе здравого смысла. И хотя понятно, что с этой архитектурой существенно улучшить результат не удастся, то альтернативные более успешные архитектуры вряд ли будут с меньшим количеством вычислений. IBM Watson, победивший в Jeopardy! -- это прежде всего суперкомпьютер! Big Neuro таки решает, а если там пойдёт ещё и Big Simulation и Big Logic, которые сольются в какой-то момент в Big Evolution Multi-engine, то аж дух захватывает, что может получиться!

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/groups/nevronet/permalink/1406594802840170/

Краткое содержание поста:
-- есть no free lunch тезис, что разные алгоритмы для разных задач имеют разные оценки времени
-- Sutton говорит, что побеждают простые алгоритмы при масштабировании. Типа нейросеток, когда их посадили на нормальный "их" кремний.
-- есть ряд классов алгоритмов, которые могут помогать решать разные задачи с интеллектом. Логика, эволюция.
-- по идее, должна быть когнитивная архитектура, которая позволяет использовать такие алгоритмы, маршрутизируя им соотвествующие классы задач
-- не факт, что их все нужно выполнять на нейро-инфраструктуре.
-- это означает, что перспективно попробовать ускорители и для логики, и для физики, и для эволюции в конечном итоге (где потребуется интеграция всех ускорителей: эволюционировать-то должна будет когнитивная архитектура!).

А эволюция съест всю вычислительную мощь, которая доступна, и ещё потребует. Так что радуемся и имеем дело с Big Neuro и Big ВсёОстальное.
2019

Хост-языки для встроенных DSL перестают упоминаться. Но они есть.

MIT опубликовал хвалилку языка Gen, предназначенного для облегчённого программирования систем искусственного интеллекта, вот тамошний пресс-релиз: http://news.mit.edu/2019/ai-programming-gen-0626 (повод -- доклад на Programming Language Design and Implementation конференции). В этом пресс-релизе рассказывается о новом языке, и только о нём. Язык противопоставляется подходу TensorFlow -- утверждается, что программирование задач искусственного интеллекта на Gen много легче. Другие языки, например, Julia, упоминаются так, что это упоминание сразу и не найдёшь.

Вот статья ещё прошлого года, и говорят, что Gen более крут, чем кажется: This paper includes an evaluation that shows that Gen can solve inference problems including 3D body pose estimation from a single depth image; robust regression; inferring the probable destination of a person or robot traversing its environment; and structure learning for real-world time series data. In each case, Gen outperforms existing probabilistic programming languages that support customizable inference (Venture and Turing), typically by one or more orders of magnitude. These performance gains are enabled by Gen’s more flexible inference programming capabilities and high-performance probabilistic DSLs. -- https://dspace.mit.edu/bitstream/handle/1721.1/119255/MIT-CSAIL-TR-2018-020.pdf

Когда открываешь страницу самого "языка Gen" https://probcomp.github.io/Gen/, то тут же натыкаешься на "Gen is a package for the Julia programming language. Gen consists of multiple modeling languages that are implemented as DSLs in Julia and a Julia library for inference programming". И просьба установить Julia 1.0 или более старшую версию. Gen оказывается embedded DSL в Julia. Julia рассматривает себя как платформу для создания самых разных DSL, об этом пару лет назад даже был пост в блоге создателей языка "Creating domain-specific languages in Julia using macros" -- https://julialang.org/blog/2017/08/dsl

Тренд сжёвывания stand alone DSL реализациями embedded DSL в расширяемых языках (та же Julia) -- налицо. Вот, например, Modia подаётся не как отдельный язык, а сразу как domain specific extension of Julia for modeling and simulation of physical systems, https://github.com/ModiaSim/Modia.jl. Это "расширение Julia" создаётся авторами Modelica. И, похоже, это расширение готовится скушать саму Modelica как специализированный (domain-specific) stand alone язык инженерного моделирования. Смотрим внимательно: in Modia there is not (yet) a graphical definition of models (хотят добавить, но недосуг, не так уж и важно оказалось -- расчёт-то что с графикой, что без графики один и тот же) и more models converted from Modelica Standard Library (то есть библиотеки Modelica просто конвертируют в новый язык).

В итоге -- Julia становится языком-платформой, на которой доступны и Gen для задач AI, и Modia для мультифизики. И, надеюсь, когда-нибдь и SysMoLan -- язык системного моделирования (https://ailev.livejournal.com/1443879.html).

Языки внутри языков внутри языков. Языки-платформы (хост-языки) становятся настолько общим местом, что даже не упоминаются в описании embedded DSL (как в случае Gen). Языковые рыбки языковой воды не замечают. Никто же не обращает внимания, на каком языке написаны компиляторы Rust, Go, Julia, никто не поминает машинный язык тех же Intel или ARM процессоров, когда говорят о тех же Rust, Go, Julia. По факту отношение к embedded DSL и stand alone DSL стало одинаковым: неважно, какие языки участвовали в их создании. Важно, что там они делают с прикладной системной областью. А уж embedded или stand alone, это пустое. Конечно, embedded, ибо рядом ждут своей очереди на моделирование ещё десяток разных domains проекта, и хорошо бы это моделирование инфраструктурно вести в одной системе, а не в зоопарке разных систем. Проблема зоопарка осталась (зоопарк DSL в проекте неминуем, множественность же описаний системы требует множественности моделирования), но унификация сначала прошла машинного языка, а сегодня и хост-языка. DSL стал на одну ступеньку дальше от машинного кода.

При этом полно и попыток создать новые расширяемые языки-для-языков, то есть новые языки-платформы, новые хост-языки. Вот, поглядите на старт очередной попытки от justy_tylor, он неделю назад начал работать над прототипом нового компилятора: https://justy-tylor.livejournal.com/255265.html. Пожелаем ему удачи.