Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Categories:

NVIDIA снова зажигает

Смотрел сейчас в прямом интернет-эфире презентацию нового железа NVIDIA (запись -- https://youtu.be/KnVVJSIiKpY, звук с 50й секунды). Они чётко говорят, что три года назад сориентировались на поддержку искусственного интеллекта и вложили $2-3млрд. R&D и заняли несколько тысяч человек разработкой нового чипа архитектуры Pascal. Это P100, GPU для датацентров. У него 21ТFLOPS на FP16 (16 бит плавающее, вполне ОК для deep learning), максимальная память может быть 16GB с шиной 1TB/s и возможностью масштабирования в многочипную архитектуру, 16нм проектные нормы и 15млрд.транзисторов, потребляющих 300Вт -- http://wccftech.com/nvidia-pascal-tesla-p100-gpu/ (http://www.nvidia.com/object/tesla-p100.html). Этот чип уже в массовом производстве, в 1 квартале 2017 поставки OEM.

И ещё на базе возможности масштабировать P100 (дырка в память там 4096 бит, 1TB/s) сделали суперкомпьютер DGX-1 (http://www.nvidia.com/dgx1) и отрапортовали, что за год увеличили скорость deep learning в 12 раз на одном компьютере (вместо максимум четырёх GPU в параллель прежней архитектуры поставили этот один суперкомпьютер-в-рэке). Стоит это трёхкиловаттное удовольствие $129тыс., это действительно суперкомпьютер. Но это 170TFLOPS, AlexNet (1.28 million images belong to 1000 classes) тренируется вместо пары недель за 2 часа/

Вот жизнь пошла! Суперкомпьютер для искусственного интеллекта сегодня стоит как роскошный автомобиль, потребляет электричество как роскошный пылесос, какой-нибудь хипстер вполне может приобрести его исключительно для развлечений и держать мощность 170ТFLOPS дома, просто "чтобы было".

Прыткость развития искусственного интеллекта существенно зависит от мощности компьютеров. Так что с приходом этого поколения чипов NVIDIA жизнь ускорится даже по сравнению с сегодняшними безумными днями. Судя по нынешним темпам развития (x12 раз скорость обучения за год), машинное обучение уже вышло на восходящую часть S-кривой технического развития, и чудес нужно ждать буквально еженедельно. NVIDIA показало уже, как её собственная сетка для вождения без водителя используется для вождения по самым разным дорогам -- асфальтовым, грунтовым, с крутыми поворотами, проходящимися на скорости.

Я думаю, что будет как с интернетом: сейчас вопли удивления и надувающийся пузырь, а потом к чудесам привыкнут. Интернет мне наскучил примерно за полтора десятка лет. Я написал "Почему я не хожу на интернет-тусовки" 2011: http://ailev.livejournal.com/848797.html. А в прошлом году я прочёл доклад на DeepHack под названием "Нейронные сетки: покруче интернета", http://lectoriy.mipt.ru/lecture/DeepHack-L06-150724.02. Этих нейронных сеток (и вокруг них ещё много чего интересного) мне такими темпами ещё на три десятка лет интереса хватит.
Subscribe

  • Цены на наши онлайн-курсы в 2021

    Заканчивается зима, прошёл уже год с момента запуска первого нашего курса, и заодно заканчивается год карантинной жути (тьфу-тьфу-тьфу). Поэтому мы…

  • Вычислительное мышление: пять тем для отслеживания в 2021

    Некоторые темы для отслеживания и размышлений на досуге. При этом охотно верю, что у кого-то это идеи для размышления в рабочее время. Вот кто сидит…

  • lytdybr

    Удивляюсь, почему не обсуждаются причины, а только следствия типа "а чего они законы нарушают": не обсуждаются право народа на собрания (с чего это…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 16 comments

  • Цены на наши онлайн-курсы в 2021

    Заканчивается зима, прошёл уже год с момента запуска первого нашего курса, и заодно заканчивается год карантинной жути (тьфу-тьфу-тьфу). Поэтому мы…

  • Вычислительное мышление: пять тем для отслеживания в 2021

    Некоторые темы для отслеживания и размышлений на досуге. При этом охотно верю, что у кого-то это идеи для размышления в рабочее время. Вот кто сидит…

  • lytdybr

    Удивляюсь, почему не обсуждаются причины, а только следствия типа "а чего они законы нарушают": не обсуждаются право народа на собрания (с чего это…