April 30th, 2021

2021 год

Omniverse: NVIDIA как провайдер виртуальных миров

У виртуальных миров такие же зимы и вёсны, как и у искусственного интеллекта -- все они проходят в ритме роста доступной вычислительной мощности и очарование новыми возможностями так же быстро заменяется разочарованием. Всего было три весны:
-- середина 90х прошла под знаком VRML (https://en.wikipedia.org/wiki/VRML), когда хотели строить трёхмерные вебсайты (был всемирный "поиск метафоры", по итогам которого победило "левое меню" в 2D -- но рассматривались и 3D вебсайты, вот я тут это поминаю в 2003 году, по горячим следам -- https://ailev.livejournal.com/45837.html). Плоские вебсайты выиграли подчистую, на VRML было сделано очень немного промышленных приложений, лидировала там https://ru.wikipedia.org/wiki/Parallel_Graphics.
-- середина нулевых прошла под знаком Second Life (я завёл там эккаунт в 2006 году, https://ailev.livejournal.com/430280.html, когда ежедневно в онлайне там было 6-11тыс.человек) и там уже были не "вебсайты", а виртуальные миры "для встреч и совещаний". Хайп был невиданный, и на этой волне были попытки сделать и промышленные миры, одна из них -- OpenQwaq (вот я писал в 2011 году о закате этого проекта, https://ailev.livejournal.com/927924.html). Победили для синхронной коллаборации 2D сервисы типа Google Doсs и Zoom (и сотни более маленьких таких же 2D). Оказалось, что общаться проще в общем чате или общем голосовом чате, а смотреть не на "доску в мире" под кривым углом, а на нормальный экран нормального приложения, в том числе и CAD-приложения, безо всякого "мира с вашим аватаром". Университеты и посольства ушли из Second Life, фирмы CAD/CAM/CAE тоже ушли, виртуальные миры остались только в играх. Опять "не шмогла", промышленных стандартов так и не появилось. Люди не пришли в виртуальный мир, им там нечего делать.
-- третья волна с виртуальными мирами появилась вот прямо сейчас, на базе переданного студией Pixar в open source стандарта USD (universal scene description, https://graphics.pixar.com/usd/docs/Introduction-to-USD.html). Ключевое тут -- из одного мира переходим к metaverse, так начали называть любую сеть виртуальных миров миры после романа "Лавина" Нила Стефенсона, https://en.wikipedia.org/wiki/Metaverse. Эдакий интернет виртуальных миров, как интернет был "сеть сетей", так и metaverse -- "мир миров".

И вот с этими USD metaverse начинаются две восхитительные истории:
-- хайп по поводу перехода игровиков от Zoomverse к metaverse (вот январский обзор этого движа, https://venturebeat.com/2021/01/29/the-deanbeat-our-360-degree-view-of-the-metaverse-ecosystem/). Неделю назад Epic Graphics объявила о целевом вложении $1млрд. в развитие metaverse, https://venturebeat.com/2021/04/16/the-deanbeat-a-big-bang-week-for-the-metaverse/ -- и эти деньги пойдут на движение не только в части игр, но и в части социальной сети, музыкальных сервисов и "искусственных людей".
-- NVIDIA объявляет о своём варианте metaverse: точном (миллиметры на сотнях метров) фотореалистичном с встроенным физическим движком промышленном Omniverse. И самое интересное тут -- что этот мир не только для людей, но и для роботов: одно из основных назначений мира -- имитационное моделирование физической среды для обучения искусственного интеллекта (роботов, автопилотируемых автомобилей, дронов и всего прочего). Если в Second Life хотели учить людей, то тут хотят учить AI-агентов. И ходить к ним в гости. Jensen Huang говорит, что "VR нужно, чтобы мы ходили в гости в мир AI-агентов, а AR нужна, чтобы агенты ходили в гости к нам в мир".

Вот про Omniverse подробней:
-- красочный свеженький видеообзор недельной давности: https://www.youtube.com/watch?v=JBB6DmuidCA, интервью Jensen Huang с некоторыми подробностями -- https://venturebeat.com/2021/04/17/jensen-huang-interview-from-the-grace-cpu-to-engineers-metaverse-of-the-omniverse/
-- словесное описание от профильного веб-ресурса по CAD: https://www.cadalyst.com/management/nvidia%E2%80%99s-omniverse-platform-game-changing-potential-large-scale-cad-78607
-- вебсайт NVIDIA со всей технической и коммерческой информацией, а также возможностью взять open beta версию: https://developer.nvidia.com/nvidia-omniverse-platform

Я бы не хотел тут повторять то, что говорит Jensen Huang, но подчеркну несколько интересных моментов:

Omniverse сходу заявляется не для людей (вернее, "и для людей тоже").
Не-людей много больше, чем людей. Если вы занимаетесь эволюцией или дрессировкой (reinforcement learning), вам нужно учить и давать место для жизни (в эволюции агент должен пожить в мире, чтобы показать свою жизнеспособность). Вы должны иметь мир, в котором:
-- фотореалистичность. Она требует диких вычислительные ресурсов для ray tracing -- и желательно, быстрее чем real time, проживать искусственную жизнь нужно быстрее реальной, чтобы успеть попользоваться результатами эволюции или reinforcement learning в реальном мире!
-- физичность (движок мультифизики, механика тут только самое начало. Смотри материалы по digital twins и соответствующие вычислительные проблемы: https://ailev.livejournal.com/1549559.html). Точное физическое моделирование в быстрее чем реальном масштабе времени -- это тоже требует диких вычислительных ресурсов. Вот поглядите, как Omniverse справляется с физическим моделированием: https://www.youtube.com/watch?v=7ozs5EsvVGE
-- идёт мышление (см. предложения терминологии в https://ailev.livejournal.com/1548229.html -- познание как обучение/supervised learning и исследование/self-supervised learning, а ещё прикладное вычисление/мышление). Современные нейронные сетки у агентов AI тот же Jensen Huang ожидает в ближайшее время со 100трлн. параметров, и уже есть обученная Microsoft сетка на 30 трлн. параметров (19 апреля, https://www.microsoft.com/en-us/research/blog/zero-infinity-and-deepspeed-unlocking-unprecedented-model-scale-for-deep-learning-training/ -- ZeRO-Infinity can fit models with tens and even hundreds of trillions of parameters for training on current generation GPU clusters).
-- чтобы получить полезные результаты, передаваемые в реальный мир, нужно распарралелить миры: иметь domain randomization (пробовать разные небольшие отклонения в параметрах мира), задействовать эволюцию со множеством агентов, параллельно пробовать разные ситуации. И тут нет предела требуемым вычислительным ресурсам.

По факту, до появления GPU о таком использовании виртуальных миров и говорить было нельзя: это были бы благие пожелания. Сейчас это всё реально, и Jensen Huang просто делает традиционный предпринимательский ход (см. эту стратегию подробней на примере роботакси, я описывал её в 2017 https://ailev.livejournal.com/1384766.html): он делает полный технологический стек, закрывая свою аппаратуру прикладным софтом (часто -- бесплатным), подсказывая потребителям технологии, как удобно пользоваться предлагаемой им аппаратурой. Есть полно всяких софтов AI gyms -- миров по типу Open AI Gym для reinforcement learning https://gym.openai.com/, например NLP Gym https://arxiv.org/abs/2011.08272, compiler gym https://pypi.org/project/compiler-gym/ и так далее. Omniverse даёт в качестве gym (гимнастического зала для AI-агентов) полноценный фотореалистичный и физичный мир, да ещё и на той же вычислительной инфраструктуре, на какой живёт, учится и работает сам AI-агент, или даже сообщество AI-агентов, да ещё и приходящие к ним в гости в виде аватар люди.

Вот, например, BMW Group решила воссоздать в Omniverse все свои автомобильные заводы (часть моделей взяв из Catia, часть отсканировав в PointCloud). Поглядите на это чудо: https://www.youtube.com/watch?v=6-DaWgg4zF8. В этом ролике значительная часть посвящена тому, что digital twin всего завода, проходя модификации в рамках domain randomisation (цвета, освещение, положение предметов) используется для обучения автопилотируемых роботов-тележек. По этому же пути предлагается создавать в Omniverse цифровые двойники городов, чтобы учить и испытывать там нейросетки роботакси.

По факту NVIDIA предлагает Omniverse Create (мир общего назначения), Isaac Sim™ (gym для робота Isaac) и DRIVE Sim™ (мир для роботакси DRIVE).

Omniverse как инструмент моделирования в традиционном (без AI) проектировании
Моделирование как для традиционных "роликов" сооружения (4D в строительстве), так и эргономики (в том же видео от BMW это чётко демонстрируется: отладка эргономики автомобильного завода с рабочих мест разработчиков в разных офисах). Это всё традиционные digital twins с моделированием.

Самое интересное из уже имеющегося -- это инструменты iTwin от Bentley https://www.bentley.com/en/products/product-line/digital-twins/itwin в их интеграции с Omniverse (вот видео про это -- https://www.youtube.com/watch?v=TNAKrOgd3Pg). Bentley подсуетилась и стала первой сторонней CAD-компанией, которая разрабатывает набор самых разных приложений для платформы Omniverse. До Bentley эти приложения разрабатывала сама NVIDIA, и это была не столько "платформа", сколько "набор приложений NVIDIA и коннекторы для других фирм". А потом эти приложения стали разрабатывать кроме Bentley и многие другие (Foster+ Partners, Industrial Light and Magic, WPP, BMW Group, ECMF, Ericsson, Activision, и т.д. -- почитать о ранних применениях можно в https://nvidianews.nvidia.com/news/nvidia-launches-omniverse-design-collaboration-and-simulation-platform-for-enterprises, а более-менее список партнёров можно найти на https://www.nvidia.com/en-us/omniverse/).

Коннекторов к CAD и 3D софту Omniverse уже множество (смотреть их вот тут: https://docs.omniverse.nvidia.com/con_connect/con_connect/overview.html): Maya, 3ds Max, Blender, Unreal Engine 4, Revit, Rhino, ScketchUp, ArchiCAD, Houdini, ParaView, Character Creator. Но множество есть и других, хотя официально они и не объявлены (скажем, BMW Group в своём ролике говорит, что используют CATIA. А на странице Omniverse для машиностроения обещают скоро и Solidworks, и PTC OnShape -- https://www.nvidia.com/en-us/omniverse/manufacturing/, а для CAE в строительстве смотреть в https://www.nvidia.com/en-us/omniverse/architecture-engineering-construction/).

Что подчёркивается в Omniverse во всём этом разнообразии приложений для проектирования -- так это возможно коллаборации. И возможность зайти компанией в выбранный мир и погулять там, посмотреть на всё в натуральную или ненатуральную величину "изнутри". Фотореалистично и физично. От zoomverse перейти к metaverse, в данном случае Omniverse.

Jensen Huang при этом в своём интервью говорит об использовании Omniverse и в играх, при этом говоря, что качество дизайна игровых объектов будет не уступать качеству дизайна реальных предметов. Можно сколько угодно усмехаться, но помним про хайп монетизации NFT для художественных цифровых объектов -- и прячем усмешку. Помните торговлю арт-объектами в Second Life, как всё там начиналось? С тех пор научились торговать цифровым искусством через блокчейн, и там тоже очень бодро -- https://www.theverge.com/22310188/nft-explainer-what-is-blockchain-crypto-art-faq, https://rg.ru/2021/04/26/iskusstvo-pikselej-kak-nft-tokeny-zahvatili-art-rynok.html.

И что дальше?
Дальше Omniverse для личного употребления осенью выходит из беты (но скачать бесплатно можно уже сейчас, , а корпоративная версия is available on a subscription basis and includes NVIDIA’s enterprise support services. NVIDIA’s partner network of leading computer makers — including ASUS, BOXX Technologies, Cisco, Dell Technologies, HP, Lenovo and Supermicro — are supporting NVIDIA Omniverse Enterprise.

Материалов до чёртиков, выглядит это более чем красиво -- но надежда в том, что жить в этих мирах будут таки не люди, и поэтому третья весна виртуальных миров в промышленности и для AI будет развиваться в той мере, в какой будет развиваться AI.

Сейчас вполне себе лето AI, и мне не кажется, что оно кончится. Так и про естественный интеллект можно сказать, что там зимы-вёсны, но спрос на мозги ведь есть всегда. То, что мозги эти бывают и на традиционной электронике, и ожидаются квантовые, ничего не меняет. Мозгов никогда не бывает много, реалистичное моделирование тоже нужно в количестве. Так что я ожидаю и с виртуальным фотореалистичным и физичным миром тоже будет лето. Другое дело, что там необязательно будет именно Omniverse, но шанс, что у Omniverse будет огромная начальная доля в metaverse на основе протокола USD -- большой. Как у первых интернет-провайдеров, у первых миропровайдеров все шансы на коммерческий успех. Роботы, которые будут жить и плодиться в этих мирах, смогут оценить их по достоинству. А люди будут приходить к ним в гости, а иногда приглашать через augmented reality в свой убогий мир, тоже фотореалистичный и физичный, но без domain randomization и неизменным real time.

Но "провайдер миров" -- хорошо ведь звучит! И ещё "во-первых, это красиво". И с падением стоимости вычислительной мощности и ростом конкуренции на реализацию стандарта USD будет стоить дешевле грибов.

На картинке цифровой двойник автомобильного завода BMW AG Production в Omniverse (по факту это кадр из видео -- https://www.youtube.com/watch?v=6-DaWgg4zF8, вся эта фотореалистичность с бликами на автомобилях вполне в реальном времени):


UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10220935898081248
2021 год

lytdybr

Поглядел сегодняшнюю прессу: пришло в голову, что не могу найти ни одного отличия текущего режима от диктатуры. Ты не имеешь право никому ничего рассказывать без одобрения властей (это ж просветительская деятельность будет), не имеешь права общаться за рубежом (это точно иноагент), не имеешь права заниматься политикой (смена власти -- это экстремистская деятельность), а любые отклонения от предписанной властью аполитичности (политика в её классическом смысле -- обсуждение вопроса о власти) приводят уже ко всё более массовым обвинениям к госизмене как наиболее удобному способу убирать недовольных, ибо суды там тайные и никто никому ничего доказать не сможет. Хотя вроде и так никакие доказательства в расчёт не берутся, но при госизмене они и вовсе становятся не нужны. И если раньше были классические казни сотен иностранных шпионов, то теперь просто идут посадки -- всё-таки нравы не такие жёсткие, не всех подряд травят ядами. Хотя мягкость нравов -- это быстропроходящая штука. Первого человека отравить непросто принять решение, а каждое следующее -- проще и проще. Первого человека обвинить в госизмене не просто принять решение, а каждого следующего -- проще и проще. И ещё давить адвокатуру и правозащитников, чтобы никто не привлекал внимания к тому, что дела именно "сфабрикованы". Вот: https://www.facebook.com/Ooo.Romanova/posts/4335952029772337, https://www.facebook.com/pkiriyan/posts/4316138601730002. А как шьются дела? Скажем, ты постишь в 2014 году ВКонтакте ролик Rammstein, а ещё ты глава местного штаба Навального. И тогда ты получаешь в 2021 году 2.5 года колонии общего режима за распространение порнографии -- https://mbk-news.appspot.com/news/klipa-rammstein/. Кстати, и для "иностранных агентов" уже не нужно заниматься политической деятельностью, достаточно общаться с иностранцами, как встарь: https://meduza.io/feature/2021/04/30/vlasti-delayut-vid-chto-v-priznanii-meduzy-inostrannym-agentom-net-nichego-strashnogo-oni-vrut-na-samom-dele-eto-kasaetsya-kazhdogo. Так что диктатура, и множество вполне официальных механизмов, делающих невозможной её смену в ходе политической борьбы. Хотя на официальность механизмов диктатура плюёт, чего уж там.

Увы, это всё не выходит за рамки мировых трендов. Тут вот уже полицию мыслей прорабатывают в теоретических деталях: если тебе пришла в голову мысль, которую ты получил, глядючи на тобой официально не купленную информацию, то есть способы такую контрафактную мысль у тебя обнаружить! В AI уже это прорабатывают, назвали dataset inference, а скоро это и к кожаным мешкам применят: https://arxiv.org/abs/2104.10706.

На фоне всего этого наши мелкие движения кажутся ничтожными, но я всё равно считаю, что это лучшее, что я могу в нынешней ситуации делать:
-- мы активно перетряхиваем системные уровни в танце (да, опять и снова перетряхиваем -- с Антоном Климатом и Ириной Парамоновой), я всё лучше понимаю, как работать с системными уровнями в практиках.
-- по итогам Бекасово уже появился первый драфт содержания кругозорного курса системной инженерии, его сделал Кирилл Гайдамака
-- обсуждаем материалы к курсу праксиологии и экономики, в том числе учебник https://econfun.s3.eu-central-1.amazonaws.com/books/Common_Sense_Economics_%5Bru%5D.pdf
-- Церен Церенов и Ильшат Габдуллин по итогам обсуждения SysMoLan на базе productivity tools развернули архитектурный моделер ШСМ на базе OneNote. (ссылки для трассировок в OneNote тоже есть -- на уровне абзаца в тексте. И таблицы есть. И много чего ещё есть, включая доступ к автоматизации. Wiki с WYSIWYG, этого для нормального моделирования оказывается достаточно. Просто нужно хорошо метамоделировать!).
-- принято решение переверстать Aisystant (который нынче рассматривается как LMS+CRM+billing) в фреймворке Material.
-- ждём, когда появится какой-нибудь productivity tool (типа coda.io) в open source, чтобы сделать из него моделер для наших курсов в Aisystant.
-- после обсуждения с выпускниками утвердили уровни мастерства ШСМ: начинающий, стажёр, специалист, практик, мастер, деятель.

А ещё провели оргкомитет шестнадцатых Лебедевских чтений (https://ailev.livejournal.com/1558342.html), и обнаружилось, что программа 2021 года почти свёрстана -- хотя, как всегда, что-то ещё в программе появится буквально накануне. Я предварительно заявился на рассказ об инженерно-предпринимательских многоуровневых стратегиях (на примере NVIDIA, SpaceX, Huawei).

Поглядел на системные уровни ниже того, на котором начинает работать NVIDIA -- что там думают всякие TSMC. Гнездо у них вот тут: http://isscc.org/, конференция прошла 13-22 февраля 2021, а кратенькое изложение тамошнего доклада TSMC можно прочесть в https://www.nextbigfuture.com/2021/04/tsmc-roadmap-to-one-million-times-better-energy-efficient-compute-performance-by-2040.html (суть дела: они там честно считают, что x2 за каждую пару лет энергоэффективности они будут получать до 2040 года). Из свежих новостей: 2nm в разработке, а 3nm и 4nm проектные нормы планово движутся к выпуску в 2022 году, https://www.anandtech.com/show/16639/tsmc-update-2nm-in-development-3nm-4nm-on-track-for-2022. Это безо всяких квантовых компьютеров -- но производительность там растёт всё-таки очень умеренно, главный рост идёт именно по энергоэффективности. Чипы будут работать относительно медленно, но зато не очень греться. А какие там инвестиции? TSMC’s willingness to set a 3-year $100 billion CapEx/R&D investment plan, starting from 2021, indicates its confidence to widen its foundry leadership. Вот такие вот бюджеты по исследованиям и разработкам, и это всего у одной компании в Тайване. В National Review вчера вышла статья с заголовком "TSMC: The World’s Most Important Company", https://www.nationalreview.com/2021/04/tsmc-the-worlds-most-important-company/. Может, так оно и есть. Это лидер на сегодняшнем рынке самого нижнего уровня технологического стека AI.

А куда смотреть дальше? Конечно, по цепочке обеспечения! Следующая компания -- это поставщик систем литографии на экстремальном ультрафиолете, которые сделали TSMC столь успешной. Это нидерладнская ASML. Ну, и свои машины ASML продаёт Samsung и многим другим. Вот тут кратенько: https://www.fool.com/investing/2021/04/21/better-semiconductor-stock-asml-vs-tsmc/. Цепочки обеспечения нынешнего "лета AI" -- они очень длинные, и всё новое там приходит сбоку, как обычно.

А вот про Huawei -- там плохо просматриваются системные уровни (у NVIDIA все презентационные материалы на показе технологических стеков построены, а у Huawei презентации выстроены по принципу "что я вижу, озираясь в этом цирке -- но я всё равно лучше всех"), но они там, конечно, есть -- и в стратегии их это хорошо видно: https://ebgevents.huawei.ru/mpc2021/presentations/Пленарная сессия/8. Денис Сереченко - Стратегия развития продуктов и решений Huawei.pdf. Там самый интересный сюжет -- это маркетплейсы и их экосистемы.

Перед праздниками я, наконец, разгрёб большинство срочных дел из "текучки". Понятно, что я буду содействовать выходу новых курсов, но сам хочу сосредоточиться на одном из следующих проектов:
-- переписка "Системного мышления" до версии 2022 года на базе новых представлений о методологии (https://ailev.livejournal.com/1559209.html), вставка представлений о нестрогом SysMoLan и системном моделировании в productivity tools, плюс вставка в курс упражнений по моделированию. Мне кажется, это нужно делать одним проходом по тексту текущего курса системного мышления. Там, конечно, не столько "взять и переписать", сколько по пути принять множество неочевидных решений -- а это застрять надолго с исследованиями, тем не менее.
-- Возможно, попутно нужно сделать заход ещё и на прикладной курс: метамоделирование и моделирование в productivity tools, и там показать примеры для пятка наиболее распространённых инструментов -- он хорош будет и для архитекторов предприятия, и для системных инженеров. По факту это "инженерный zettelkasten", "мышление моделированием" -- нужно просто доразвернуть тему. У меня ж это так и называлось (https://ailev.livejournal.com/1513051.html, а затем мышление кодированием и по сопричастности мышление моделированием -- https://ailev.livejournal.com/1515735.html).
-- двинуть вычислительное мышление и праксиологию и методологию в их взаимосвязи (в computer science Theory A уходит главным образом в онтологику, а Theory B как раз в праксеологию -- https://cstheory.stackexchange.com/questions/1521/origins-and-applications-of-theory-a-vs-theory-b, и вся эта тематика предпринимательства оказывается завязана на тему разделения труда/вычислений/размышлений, плюс тему операционного менеджмента/operations research).
-- переписка ОдО и перепаковка всего остального оказывается осмыслена после завершения этих двух первых методологических интервенций. А перевод курса системного менеджмента из видео в текст мне не кажется уж такой горящей задачей. Работа с сознанием и вниманием (включая вопрос о них на коллективных уровнях нескольких координирующихся сознаний) -- это закопаться и не вылезти, хотя тема очень соблазнительная для продвижения темы методологии. И соблазнительна тема ритмики, все эти практики в методологии ритмичны по определению, они разворачиваются во времени -- и понимать многоуровневую ритмичность нужно бы до того, как лезешь в методологию. Но мне кажется, что сначала нужно флажками огородить саму системную методологию как отдельную трансдисциплину, хоть как-то принятые на эту тему решения задокументировать, а потом уж там заниматься исследованиями. Release early, release often.

UPDATE: комменты в фейсбуке https://www.facebook.com/ailevenchuk/posts/10220939235564683, в чате блога -- https://t.me/ailev_blog_discussion/7967 (и там даже монархисты пришли!).