Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Categories:

Сладкие плоды горького урока: спасение закона Мура на многих системных уровнях

При переписке учебника я воткнул вместо предыдущих рекордов (FPGA-чипы) информацию про чип Cerebras-1, у которого было 1.2 триллиона транзисторов. Сегодня пришлось это место переписывать: следующее поколение Cerebras уже 2.6 триллиона транзисторов, https://www.anandtech.com/show/16000/342-transistors-for-every-person-in-the-world-cerebras-2nd-gen-wafer-scale-engine-teased. При этом там демонстрируют и масштабирование уровня выше чипа, что мне представляется тоже крайне важным, закон Amdahl от 1967 года, который говорит о том, что параллелизация имеет цену, тоже никто не отменял. Cerebras делает Neocortex: суперкомпьютер на двух CS-1 модулях (каждый на 1 чип Cerebras-1, то есть всего два таких чипа в суперкомпьютере) и сервере памяти Superdome Flex от Hewlett Packard Enterprise, уже к концу 2020 -- https://www.cerebras.net/pittsburgh-supercomputing-center-selects-cerebras-to-power-its-new-groundbreaking-ai-supercomputer-neocortex/

Ещё по этой линии новостей масштабирования от уровня чипа вверх: NVIDIA построила седьмой в мире по мощности суперкомпьютер Selene за срок 3.5 недели силами команды 6 человек, всего там 280 вычислительных узлов, в них 2240 GPU и 560 CPU, AI performance 1.4 exaflops. И это всё во время пандемической истерии: To unbox and rack systems, we used two-person teams that didn’t mix with the others — they even took vacation at the same time. And we did cabling with six-foot distances between people. That really changes how you build systems. she said. Дизайн включил сетевых чипов по отношению к GPU как 1:1 (тоже новация! Это даёт x4 повышение эффективности в связности чипов GPU). Для работы там был использован и робот телеприсутствия, чтобы подойти посмотреть, что там происходит в датацентре, не выходя из дома в два часа ночи. Вот полная история: https://blogs.nvidia.com/blog/2020/08/14/making-selene-pandemic-ai/. Именно этот компьютер (собранный за 3.5 недели!) побил кучу рекордов в AI бенчмарке в июле -- https://blogs.nvidia.com/blog/2020/07/29/mlperf-training-benchmark-records/.

Вообще, в мире вычислений всё бодро. Intel в докладе на Hot Chips в этом году шутит, что "число людей, объявляющих о том, что закон Мура достиг своего конца, удваивается каждый год". И хочет достичь x1000 роста в железе (включая оптимизированный стык между железом и софтом) к 2025, https://www.anandtech.com/show/15990/hot-chips-2020-live-blog-intels-raja-koduri-keynote-200pm-pt. На конференции Hot Chips ещё много весёлого, типа объявления о разработке Manticore, чипа с 4096 ядрами RISC-V и рекордной эффективностью на FP64 (да, вычисления с такой точностью ещё много кого интересуют) -- https://www.anandtech.com/show/16007/hot-chips-2020-live-blog-manticore-4096core-riscv-330pm-pt

И это чисто в кремнии. Если отойти в оптику, то там всё более чем бодро: https://venturebeat.com/2020/08/17/photonics-startup-lightmatter-details-p1-its-ai-optical-accelerator-chip/. Написано там мутновато, но само вычисление задач типа ResNet-50 на ImageNet на чипе Lightmatter в 1 миллиард транзисторов вроде как идёт 80 пикосекунд ("со скоростью прохождения света через чип"). И на паре последних абзацев там напоминается о существовании и других стартапов оптических вычислений в AI. Экспонента новых технологий на её начальных стадиях меееееееедленно растёт, зато потом всё неожиданно быстро. С оптикой тоже так будет: много лет ничего-ничего-ничего, кроме "исследований", а потом вдруг быстрый-быстрый выход в мейнстрим.

И даже квантовые вычисления как-то продвигаются: AWS в этом августе даёт повычислять на квантовых компьютерах в своём облаке, и это уже регулярный сервис Bracket, а не preview сервиса, как у Azure Quantum (и там куча разных компьютеров, а не только закрытые версии нестандартной архитектуры, как у IBM и Google). Вот: https://venturebeat.com/2020/08/13/amazon-launches-braket-quantum-computing-service-in-general-availability/.

Конечно, это всё не насытит голод AI на вычисления. Вот тут, например, обсуждается вычислительная мощность, потребная для создания GPT-4 -- https://www.reddit.com/r/MachineLearning/comments/i49jf8/d_biggest_roadblock_in_making_gpt4_a_20_trillion/. Вся хардверная инженерия пока тут рядом не стояла. With GPT-3 costing around $4.6 million in compute, than would put a price of $8.6 billion for the compute to train "GPT-4". Если поверить людям из Intel, обещающим x1000 к 2025 (мне в это верится с трудом), то что-то подобное GPT-4 мы увидим лет через пять. Ну, поглядим. Будущее уже здесь, только оно неравномерно распределено, и ужасно дорого стоит.

Почему это важно? Горький урок от Sutton помните? Он звучит "как вы не пыжьтесь с подъёмом интеллекта, все достижения связаны не с хитростью алгоритмов, а с ростом вычислительной мощности". Вот по этой линии и выращивают сладкие плоды всё более и более мощных компьютеров, они понятно для чего будут использованы (отнюдь не только для моделирования ядерных взрывов и прогноза погоды!). И этот рост компьютерной мощности размазан по многим системным уровням. Это всё примеры системного мышления, многоуровневые архитектуры -- от частей транзистора до датацентра с роботом телеприсутствия. Хрестоматийные кейсы, демонстрация мощности системного мышления, триумф системной инженерии.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10219225279716858
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 1 comment