Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Заметки с GTC'18

Мнения по тому, что происходит на GTC'18 круто разделились:
-- половина из 8500 участников конференции считает, что ничего нового не было (имея ввиду главным образом новые GPU-чипы -- слухи про Turing и Ampere не были ни опровергнуты, ни подтверждены). NVIDIA просто реализует те идеи, которые уже были анонсированы на всех предыдущих конференциях, а если и не были анонсированы, то ну... были очевидными, подразумевались, были естественными шагами, а не крутым развитием. Эта половина была как-то разочарована.
-- вторая половина считает, что наоборот, были продемонстрированы крутейшие достижения -- как сказал мне один инженер из Гамбурга, он в восхищении: была показана дорога на 10-20 лет развития. Я сомневаюсь, что при нынешних темпах можно говорить о 20 годах (что-нибудь обязательно произойдёт такого, что жизнь опять круто поменяется), но вот на 10 лет точно хватит.

Я лично а) принадлежу ко второй половине, которая восхищена и открыто обсуждает вопрос "как остальные не видят значимости текущих новостей NVIDIA?" и б) напоминают, что если половина экспертов говорит "да, круто!", а половина "нет, это всё не то!", то мы имеем дело с ситуацией новизны -- экспертное сообщество не сформировало ещё своего единого мнения, это нетоптанная полянка, и можно обнаружить там новое. А новое -- это всегда шанс на крутой выигрыш (хотя и проигрыш тоже бывает: рынок есть рынок). Фирма NVIDIA, выпускающая компьютерные платформы (а не чипы) -- это для многих новинка. На GTC'18 основная тема объявлений NVIDIA -- новинки компьютерной архитектуры, на два системных уровня вверх от чипов (компьютеры на этих чипах и кластеры из этих компьютеров). Это Большая Архитектурная Игра, и NVIDIA в этой игре продолжает быстро-быстро завоёвывать мир. Я ещё напишу про это, когда доберусь до нормального монитора и клавиатуры. Пока можете почитать про все крупные анонсы тут: https://blogs.nvidia.com/blog/2018/03/26/live-jensen-huang-keynote-2018-gtc/ (читайте снизу вверх, это пересказ keynote). И заранее обратите внимание на платформенные стеки: они видны на многих и многих слайдах -- все эти системные уровни. Всё руководство NVIDIA удерживает компанию именно этим системным мышлением, даже если отдельные сотрудники сосредоточены каждый на задачах своего системного уровня. Системное мышление чётко выдерживает отношение часть-целое в системах, организует эдакое "многоуровневое LEGO" -- в данном случае для создания компьютерной ткани (fabric -- бесконечного полотна, масштабирующего в своём плетении оригинальную структуру): IP для отдельных операций, складывающихся в CUDA kernels, складывающихся в отдельный процессор, складывающиеся в отдельные GPU, складывающиеся (с добавлением коммуникационного чипа и CPU) в GPU Fabric из множества CPU в рамках одного супер компютера, складывающегося затем в облачный кластер. Это суперкомпьютерная линейка. С другой стороны имеем робототехническую линейку из SoC Jetson TX, а через короткое время и Xavier -- для тех, кому не нужны супер-пупер мощности, но нужны вычисления на edge. И имеем ту же архитектуру, что позволяет вычислять одну и ту же программу на SoC и на суперкомпьютерной GPU Fabric. Напишу ещё об этом подробней.

Я был вчера на паре мероприятий с Дженсеном Хуангом (NVIDIA CEO) и сегодня на паре мероприятий. Он, конечно, великий человек, и его работа меняет лицо планеты, пожалуй, побыстрей и посущественней, чем работа Элона нашего/ихнего Маска. И я ещё не видел никого, кто настолько чётко бы демонстрировал системное мышление: это не какие-то неведомые люди готовят ему слайды, на которых всё системно. Нет, это у самого Дженсена Хуанга мысль организована по системным уровням -- он даже жестикулирует, рисуя в воздухе платформенные уровни, а в речи самое частое словосочетание "on top of" и далее идёт название очередного уровня. Я в восхищении. Это нужно давать студентам: моделировать системное мышление Дженсена Хуанга, чтобы учились удерживать эти длинные цепочки отношений "часть-целое" в мышлении, учились мыслить системными уровнями. Дженсен Хуанг IMHO честно говорит то, что думает, да ещё и делает именно то, что говорит. Результат -- компания NVIDIA удерживает множество уровней технологического компьютерного стека и стремительно превращается в универсальную огромную компьютерную фирму из производителя чипов для компьютерной графики.

А на самой выставке среди крайнего разнообразия (универсальный компьютинг ведь нужен во всех отраслях!) проступает ещё одна тема: медицина. Да, NVIDIA делает медицинскую компьютерную платформу с милым названием Project Clara – a virtualized data center, remoted, multi-modality, multi-user. It’s a medical imaging supercomputer. Но очень и очень много участников заняты deep learning в медицине, причём безо всякого Project Clara. Они просто берут GPU и решают самые разные медицинские задачи. Ибо медицина сегодня а) знахарская по сути, теории нет, всё базируется на интуиции врача, а интуиция ограничена б) человеческое тело слишком сложно устроено, функционирует на множестве системных уровней -- формулой простой его не отмоделируешь, разнообразие "нормы" огромно, как и разнообразие "патологий", поэтому наука в случае медицины пасует, в) хорошо финансируется при огромном числе ошибок и сугубо субъективных решениях -- жить-то все хотят!, г) слабо индивидуализирована -- данных много, а врач-человек не в состоянии их переварить, поэтому решения не для людей, а для "типичных случаев", которые конкретным людям могут не помогать. Вот AI в медицине будут спасать жизни сейчас массово: качество "интуиции" нейронных сеток уже массово становится выше качества интуиции даже не отдельных врачей, а консилиумов.

Тут восторг, чистый восторг. Мне самых разных человек десять уже, случайно оказывающихся рядом людей сказали буквально одно и то же "никогда не думал, что доживу до этого" -- по совсем разным поводам, на совсем разных мероприятиях. Независимо от того, считают ли эту GTC'18 прорывным и исключительным мероприятием или обыденно-рутинным. Ну да. Все эти тераопераций в секунду -- то есть триллионы. Петаоперации в секунду -- то есть квадриллионы (10^^15, если кто забыл). А эволюционные алгоритмы вкупе с алгоритмами глубокого обучения съедят всё, и ещё попросят. Так что вся эта мощь без дела не останется.

Самый крутой слух этих нескольких дней -- это что у Uber на автомобиле работал автомобильный софт NVIDIA, и именно этот софт сбил пешую велосипедистку в фатальном инциденте. Дженсен Хуанг сегодня однозначно заявил, что у Uber собственный софт, а злополучный автомобиль работал в момент наезда не на софте NVIDIA. Но почему тогда NVIDIA остановила испытания (как и многие другие фирмы)? А потому что инженеры должны извлечь уроки из события и разобраться: что нужно поменять, чтобы подобных инцидентов не было и с софтом NVIDIA тоже. После этого всё продолжится.

Самый частый тут ко мне вопрос -- что я считаю самым горячим сегодня в AI. Мой ответ -- это разделение предметного (прикладного, domain) уровня сегодняшнего интеллект-стека на собственно прикладной и когнитивной архитектуры (я писал целевое состояние в "болванах для искусственного интеллекта", http://ailev.livejournal.com/1356016.html). Когнитивная архитектура это выше уровня учебных алгоритмов -- это архитектура, позволяющая сочетать внешние базы данных, предобученные нейронные сети, постоянное доучивание и т.д.. Сегодняшние deep learning фреймворки уже commodity, а вот предметно-специфичный код, который пишется с задействованием алгоритмов из их библиотек до сих пор не разделён на "общую часть" и "предметно-специфическую часть". Люди же, занимающиеся именно когнитивными архитектурами в их отрыве от предметной/прикладной специфичности, пока не в самом мейнстриме (в отличие от людей, занимающихся алгоритмами обучения сетей -- вот они предполагаются универсальными). Так что ждём стремительного формирования нескольких предложений этих когнитивных архитектур (сейчас их будет побольше сотни, и все они неуниверсальны, лидеров нет -- в этом фишка. Моя догадка в том, что универсальная более-менее распространённая/популярная архитектура должна появиться: дико избыточная и неуклюжая, но одна для всех задач). Так что ждём-с, тут сейчас будет самая схватка.

А ещё в Сан Хосе было +25 сегодня, и я даже пару часов погулял, прокалил лысинку на местном солнышке. А потом потанцевал на вечеринке с огромной толпой спецов по deep learning, компьютерными архитекторами, электронщиками, программистами и всеми остальными. В танцах и подпитии они все одинаковы: радостны и благостны. Вот я на сегодняшней вечеринке в "объемном фото" (https://youtu.be/msEa-BZMxmU):
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 12 comments