Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

NVDLA -- опенсорс хардвера для глубокого обучения от NVIDIA

Открытый код Verilog RTL для ускорителей вывода в свёрточных нейросетях, причём от NVIDIA -- http://nvdla.org/.

Начальная выкладка уже на GitHub и можно начинать знакомиться -- The initial RTL will be for a large NVDLA configuration with 2048 8-bit MACs, also configurable as 1024 16-bit fixed or floating point MACs. В четвёртом квартале будет Application supporting Caffe and TensorFlow models; most CNN related layers, а в первой половине 2018 там планируется полная поддержка программного стека глубокого обучения от NVIDIA (оптимизатор сеток TensorRT и далее по всему списку). Отладка предусмотрена: на FPGA Xilinx, но цель всего этого -- кусок IP для SoC в устройствах IoT.

По факту это раскрывается IP ускорителя архитектуры Xavier для робототехники (Xavier -- это "Exaflop for Megawatt" чип, вчера было анонсировано, что эта архитектура будет не только для беспилотных автомобилей, но и для дронов, и для роботов -- https://blogs.nvidia.com/blog/2017/09/25/gtc-china-jensen-huang-keynote/). Я на GTC в мае этого года задавал вопрос: зачем в Xavier отдельный блок ускорителя свёрточных сетей, если всё одно там тензорная машинка Volta внутри? Ответ был -- выигрывается до 30% по энергомощности для специализированных вычислений. Вот этим выигрышем и решили поделиться в опенсорс, для специализированных вычислений свёрточных сетей NVIDIA рынка SoC не жалко -- зато туда можно продвинуть софтверный стек NVIDIA (компиляция всего на CUDA) и ждать, пока люди научатся с ним работать и им потребуются вычисления помощнее. Например, захочется купить какой-нибудь DGX-1, чтобы научить сетку, которая будет ускоряться с использованием NVDLA на кастомном собственном чипе какого-то изготовителя IoT. Рынок ведь сложная штука: сначала рыбку прикармливаешь, а потом её в этом месте ловишь в количестве.

panchul этот проект должен быть тоже интересен: как это можно развернуть для учебного процесса. Ибо одно дело учить людей делать CPU, а другое дело -- учить делать на чипе ещё и ускорители для глубокого обучения, которые сейчас на пике моды. Открытого кода на Verilog RTL в мире ведь не так много, и этой новой возможностью можно пробовать воспользоваться.

Конечно, есть и другие IP акселерации на рынке, например PowerVR, но там код закрыт -- https://www.imgtec.com/blog/why-the-powervr-2nx-nna-is-the-future-of-neural-net-acceleration
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 1 comment