Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Подготовка к лебедевским чтениям: продолжу предпринимательский кейс NVIDIA

В этом году Оргкомитет предложил мне сделать сообщение с продолжением предпринимательского кейса NVIDIA, ибо за год много чего интересного произошло (и продолжает происходить). На мой взгляд, конкуренция за новую вычислительную инфраструктуру только-только начинается, причём эпицентр проходит пунктиром через все уровни интеллект-стека. Это и есть главный поворот с прошлогодних Чтений: технологический стек платформ NVIDIA оказывается в основе своей даже не интеллект-стеком с нейросетками в основе, а универсальным вычислительным стеком (я писал об этом в "NVIDIA как поставщик универсальной вычислительной инфраструктуры", https://ailev.livejournal.com/1416697.html).

Изменения происходят стремительные. С одной стороны, глубокие нейросетки становятся просто особым родом программирования -- differentiable programming, как пытается сделать очередной после deep learning ребрендинг этой полянки LeCun. Это он не очень давно, с января 2018 -- поглядите средний раздел его огромной свежей презентации (видео -- https://www.youtube.com/watch?v=7R0NH3Szj-s). Или очень давно, сейчас ведь год за пять лет в этой области идёт, так что полгода -- это уже "старьё". С другой стороны, и кроме differentiable programming много чего нужно делать с параллельными вычислениями: мир моделировать для предсказаний, входные потоки данных обрабатывать.

NVIDIA опубликовала сегодня очередной пузомерный (главным образом с TPU) пост про скорость работы по обработке изображений нейросетями -- https://devblogs.nvidia.com/tensor-core-ai-performance-milestones/. Можно смело скипать весь текст, но выделить только один кусочек, на который должны делать ставку все инвесторы в NVIDIA. Предпринимательский кейс именно в этом: там упомянута разработка DALI (Data Augmentation Library), задача которой делать всякие обработки изображений, а не обучать сетку. Вот картинка для привлечения внимания -- внимание нужно обращать на то, что нейросети уже давно в GPU, а сейчас были перенесены не имеющие к ним отношения вычисления:

Это и есть главный козырь NVIDIA перед многими и многими проектами конкурентов: на GPU с CUDA можно сдвинуть расчёты не только из интеллект-стека. На GPU сейчас сдвигают всё, что медленное. Медленно диспетчировались контейнеры в облаке -- сдвинули программу этого диспетчирования (Kubernetes сегодня могут работать в GPU, очень быстро). Медленно преобразовываются картинки -- передвинули на GPU и это, что и показано на картинке.

Предпринимательский кейс тут в том, что на другие чипы для искусственного интеллекта все эти вычисления не сдвинешь, они более специализированы именно на нейро. Поэтому-то мы и ничего не слышим про победное шествие всех других чипов всех других фирм, что они реализуют стремительно устаревающие модели нейровычислений, и уж точно не реализуют самые разные другие необходимые для полного жизненного цикла интеллект-стека вычисления. Новость, новость! Сюрприз, сюрприз! В интеллект-стеке и вокруг него оказываются отнюдь не только нейросетки! И нужны не только нейроускорители! Вот и тормозят конкурирующие проекты, не спешат с выходом на рынок.

Я ж говорю: NVIDIA хочет съесть весь компьютерный мир, аппетита достаточно. Другое дело, что контрходы конкурентов в таких ситуациях могут быть ещё более крутыми, причём от тех конкурентов, которых мы ещё не знаем. И входная цена в подобные решения -- суммы порядка $3-5млрд. на разработку чипов. И добавьте чуток побольше на разработку софта, пример AMD чётко показывает, что одних чипов маловато будет. Так что съесть весь мир NVIDIA съесть, да кто ж ей даст! Но откусить большой кусок -- это, похоже, получается.

Мой доклад про NVIDIA на 13 Чтениях -- https://ailev.livejournal.com/1348413.html (это в конце первого же видео, плюс доступны слайды).

Как это всё отличается от российских государственных потуг в цифровизации!
* * *
Приём докладов к (уже четырнадцатым) Чтениям продолжается. Мы будем формировать окончательную программу в следующий вторник, не прозевайте срок присылки тезисов -- http://g-l-memorial.ice.ru/. Портфель уже не пуст, но всегда рады интересным работам. А сами чтения пройдут в 19 мая 2018, в субботу, в бывшей гостинице "Алроса", а ныне отеле "Звезда" на первом Казачьем переулке.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10212896360017821
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 4 comments