Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Categories:

Мощность вычислителей оцениваем в тера/триллионах, пета/квадриллионах, экза/квинтиллионах

Я разделяю идею, что нужно срочно усилить интеллект человечества, чтобы решить сегодняшние "проблемы человечества" типа биологического бессмертия и быстрого перемещения на другие планеты, а ещё поставить новые задачи, которые сегодня ещё никому не пришли в голову. Для этого нужно поднять интеллект людей (у меня про это месяц назад вышла книжка "Образование для образованных 2020", https://ridero.ru/books/obrazovanie_dlya_obrazovannykh/), и поднять интеллект компьютеров.

Интеллект компьютеров, похоже, зависит главным образом от вычислительной мощности -- это так называемый "горький урок" (http://incompleteideas.net/IncIdeas/BitterLesson.html), полученный анализом всех прошлых прорывов в области AI. Все эти прорывы оказывались прорывами не столько в хитрых конструкциях самого интеллекта, сколько прорывами в вычислительной мощности, которую давали простым алгоритмам. Поэтому внимание исследователей искусственного интеллекта обращается к HPC, high performance computing. Я писал довольно много об этом три недели назад в "сладкие плоды горького урока: спасение закона Мура на многих системных уровнях, https://ailev.livejournal.com/1533055.html и добавил потом, что во второй половине 2022 года (уже через пару лет) ожидается переход на 3нм проектные нормы, а 5нм чипы уже вовсю производятся прямо сейчас https://ailev.livejournal.com/1534180.html.

Ну и как, это окупается? Да, июльское 2020 исследование Hyperion research показало, что это зона сверхприбылей: каждый $1 инвестиций в HPC возвращает $44 -- https://www.dellemc.com/resources/en-us/asset/analyst-reports/products/ready-solutions/hyperion-hpc-investment-brings-high-returns.pdf. The financial ROI of HPC database consists of over 150 use cases worldwide that show an average revenue of $463 dollars per dollar of investment in HPC, as well as $44 of profit for every dollar of investment in HPC. To put that into context, for an HPC system purchased at $100,000 by a private corporation, the analysis estimates that the profit will be around $4.4 million (хотя там это и отличается по отраслям -- самая высокая отдача в финансовом секторе $61 на доллар инвестиций в HPC, а в розничной торговле хуже всего -- ROI всего $12 на каждый доллар. Это и "традиционное имитационное моделирование" (курс computational thinking на Julia обсуждает движение в эту сторону, https://mitmath.github.io/18S191/Fall20/), и AI на суперкомпьютерах (про что я писал в тексте про сладкие плоды горького урока).

Гонка мегагерц в компьютинге закончилась (примерно на 5ГГц, неплохо! и даже на арсенид галлия пока не переходили), гонка числа ядер в процессоре не закончилась (ядра, правда, стали не процессорные, а вычислительные) -- по факту это гонка компактности вычислителя, где CPU, DTU (передача данных между вычислителями), GPU (неуниверсальные наборы вычислительных ядер для наиболее частых вычислительных операций) упаковываются буквально на один чип, и счёт транзисторов там пошёл на триллионы (2.6 триллионов транзисторов в очередном чипе Cerebras, я писал об этом в "спасении закона Мура"). Почему важно всё иметь на чипе? Потому что компактность даёт простоту сборки (сборка становится не нужна) и скорость самих вычислений (все передачи данных внутри чипа). Для чипа 1.2 триллиона транзисторов нужно было отвести 15Квт с площади примерно тетрадного листа (и решить ещё много каких других вопросов -- https://techcrunch.com/2019/08/19/the-five-technical-challenges-cerebras-overcame-in-building-the-first-trillion-transistor-chip/). Переход к давно ожидаемым 3D архитектурам на чипе только усугубляет проблему теплоотвода, так что толку от этого не будет. Но и тут есть экспоненциальный рост: https://arstechnica.com/science/2020/09/researchers-demonstrate-in-chip-water-cooling/ и даже двухдневной давности статья в Nature https://www.nature.com/articles/s41586-020-2666-1 про Co-designing electronics with microfluidics for more sustainable cooling. Там вот такие цифры: Our results show that heat fluxes exceeding 1.7 kilowatts per square centimetre can be extracted using only 0.57 watts per square centimetre of pumping power. We observed an unprecedented coefficient of performance (exceeding 10,000) for single-phase water-cooling of heat fluxes exceeding 1 kilowatt per square centimetre, corresponding to a 50-fold increase compared to straight microchannels. Это прорыв, электроника никогда больше не будет прежней.

Но люди из AI всё чётче и чётче говорят свои хотелки: языковые модели с триллионом/тера параметров. Помним, что GPT-3 это 175млрд. параметров (175Гигапараметров, чтобы было проще сравнивать). Вот что такое 1Терапараметр по части вычислительных затрат: Training a trillion-parameter model would require the combined memory of at least 400 Nvidia A100 GPUs (which have 40GB of memory each), and Microsoft estimates it would take 4,000 A100s running at 50% efficiency for about 100 days to complete the training. И вот Microsoft вчера открыло библиотеку DeepSpeed, которая даёт ускорение в подобных расчётах -- DeepSpeed can train a language model with one trillion parameters using as few as 800 NVIDIA V100 GPUs -- https://www.microsoft.com/en-us/research/blog/deepspeed-extreme-scale-model-training-for-everyone/. We obtain close to perfect-linear compute efficiency scaling and a throughput of 47 teraflops per V100 GPU. This is impressive scaling and throughput for the given hardware. А ещё в этой библиотеке технология ZeRO-Offload allows training up to 13-billion-parameter models on a single NVIDIA V100 GPU, 10x larger than the state-of-the-art while retaining high training throughput of over 30 teraflops per GPU. Это всё про Volta, даже не Ampere! Всё это опирается на более низкий системный уровень ускорения арифметики: Triton, a language and compiler centered aroundthe concept oftile, i.e., statically shaped multi-dimensionalsub-arrays. Our approach revolves around (1) a C-based lan-gauge and an LLVM-based intermediate representation (IR)for expressing tensor programs in terms of operations onparametric tile variables and (2) a set of novel tile-level opti-mization passes for compiling these programs into efficientGPU code -- http://www.eecs.harvard.edu/~htk/publication/2019-mapl-tillet-kung-cox.pdf

Как всегда, напомню, что не меньше всего происходит в области оптических и квантовых вычислителей. При этом ускорение тут идёт от классического AI-компьютинга: то, что настраивать параметры квантовой системы проще при помощи нейронных сеток, это уже общее место. Но вот новый поворот, ускорение производства: среди тысяч однофотонных наноизлучателей нужно быстро найти бездефектные. Использовали подход машинного обучения для тестирования, и процесс пошёл в сто раз быстрее -- https://www.purdue.edu/newsroom/releases/2020/Q3/new-machine-learning-assisted-method-rapidly-classifies-quantum-sources.html. Помните "кремниевые компиляторы", когда первые компьютеры начали помогать проектировать новые чипы? Вот это то же самое: классические компьютеры помогают проектировать и даже делать квантовые компьютеры. Такое происходит сейчас практически каждую неделю (это только то, что публикуют. Боюсь, не всё публикуют).

Пока всё в посте было конкретно, измеримо, архитектурные идеи абсолютно понятны.

А теперь поглядим на такие "новости" (в кавычках), как запуск IBM и Тодаем (университет Токио) Quantum Innovation Initiative Consortium -- https://www.hpcwire.com/off-the-wire/ibm-and-the-university-of-tokyo-unveil-the-quantum-innovation-initiative-consortium/. Профессор Макото Гоноками, президент Тодая сказал следующее: "Общество 5.0 -- это концепция лучшего будущего, с инклюзивным [включающим самых разных альтернативно одарённых, пардон май френч], самоподдерживающим ["устойчивое развитие", гомеостаз -- привет из 80х, когда это слово было модным] и знание-ёмким обществом, где информация и сервисы создают пользу на основе цифровых инноваций. Ключ к воплощению такого общества -- это использование реальных данных в реальном времени. Чтобы этого достичь, необходимо защищать и пестовать глобальную окружающую среду, сущность физического и киберпространства как одну, ... дальше я не могу переводить это бла-бла-бла, сами идите по ссылке и удивляйтесь. Не думаю, что перевод с японского на английский и далее на русский сильно тут что-то исказил, этот новояз чиновников универсален. Мы никогда не узнаем, что ж там реального будет сделано, кроме поставки одного квантового компьютера в Японию. Ни одного слова о сути проекта.

Фантастический, конечно, текст профессора Макото Гоноками, просто как какая-то словесная каша от GPT-3, не несущая никакого смысла, кроме как перечисления "очень модных слов" очередного поколения бюджетного процесса. Краткий пересказ: "Общество с очередной модной цифрой поколения -- это за всё давно и десятки лет известное хорошее и модное при неупоминании всего неизвестного плохого. Типа реальных данных против данных моделирования (прошлая мода была на модели), и эти реальные данные просто стали модней предыдущего поколения бюджетного цикла, там были действенные данные/actionable data. А ещё помним, что бывают ещё и вычисления реального времени, а то как-то подзабыли уже, а они ведь рулят!". Каждое слово фантастически ничего не означает, типа "цифровых инноваций", это очень удобно для бюджетного процесса.

А ведь всё с точностью наоборот: квантовые компьютеры ни разу не цифровые в привычном компьютерном смысле этого слова, поэтому как раз в данном случае "антицифровые инновации". Но это никого не волнует, это ж передовицы из газеты "Правда" (я ещё застал эти передовицы!). Так что не читайте на ночь новостей о государственных программах поддержки того или сего в AI или HPC. Они никак не продвигают понимания происходящего в сфере HPC, только вносят информационный шум. Ничего эти новости от крупных чиновников не меняют в наших жизнях. Ну, меняют в жизни пары человек из пары компаний, которые долбят пару чиновников в надежде на какие-то бюджеты из денег налогоплательщиков, и поэтому показывают удачные примеры других таких же пилильщиков бюджета под модные слова. И пиар-пиар-пиар. Но мы ж тут не про это? И не рассказывайте, что "только за счёт госинвестиций" (вариант: "только за счёт военных программ") у нас на планете прогресс. Враньё чистой воды, выход ICT на терагерцы (тоже прогресс: терагерцовые волноводы на чипе с крутыми изгибами -- https://www.nature.com/articles/s41566-020-0618-9), терабайты в памяти, терапараметры в нейронных сетках, уже петафлопы (квадриллионы) в операциях в секунду (https://medium.com/@khairy2011/tpu-vs-gpu-vs-cerebras-vs-graphcore-a-fair-comparison-between-ml-hardware-3f5a19d89e38) произошёл не за счёт крошечных государственных инвестиций, как бы ни пытались пиращики их нарисовать драматически "ключевыми". Нет, это всё рыночная экономика.

А экономика госпредпринимательства? Когда прибыли частных компаний, а убытки налогоплательщиков? Японский проект компьютеров пятого поколения (пролог-архитектуры) загнулся, и ничего не дал. Российский поисковик "Спутник" тихо закрыт на прошлой неделе, после траты 2млрд.рублей (а что, в момент запуска это кому-то непонятно было, включая обеспечивавших финансирование чиновников? Формулировки-то какие "государственный сервис закрыт из-за изменения стратегии компании" -- кто там кем рулит, государство компанией или компания государством?! https://www.gazeta.ru/tech/news/2020/09/08/n_14908952.shtml. Деньги-то чьи были потрачены, налогоплательщиков или от коммерческих сервисов -- но тогда причём тут государство?! А вот 2017 год, уже было понятно, что проект мёртвый: https://ria.ru/20170512/1494144326.html, что ж его кормили ещё три года?!). Это во всех странах так, циничность чиновников и высших чинов транснациональных корпораций в США не знает границ, когда речь идёт о распиле госбюджета, в этом они одинаковы с коллегами из всех стран мира.

Поэтому у меня в ленте про госпроекты вы читаете мало, а про усиление интеллекта -- много. Вопреки разбазариванию ресурсов через госпроекты мы говорим уже о триллионах/тера характеристиках в вычислителях, начинаем говорить о квадриллионах/пета (я писал о начале этого говорения в 2009 -- https://ailev.livejournal.com/699111.html) и примериваемся к экза/квинтиллионам (сейчас самый быстрый суперкомпьютер Fugaku имеет скорость 0.54 квинтиллионов операций с плавающей точкой двойной точности FP64 в секунду, но его быстро превзойдут -- https://en.wikipedia.org/wiki/Fugaku_(supercomputer). Эти квинтиллионы имеют значение, человечество с их помощью становится умнее. И это происходит с такой скоростью, что скоро придётся вспоминать, что там после квинтиллионов/экза.

UPDATE: обсуждение в https://www.facebook.com/ailevenchuk/posts/10219387175524152
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 10 comments