September 27th, 2017

2019

Toda-Algorand -- новое поколение блокчейн-платформы

А никто не отслеживает Toda-Algorand, https://www.todarand.com/? Это разработчики распределённого реестра, который не кушает много электроэнергии на дурацкую работу майнеров, не имеет больших ограничений на производительность (хорошо масштабируем), а ещё он быстр в окончательном подтверждении трансакций -- не ждёт возможных форков. Смарт-контракты, как же без них. Там всё круто, вплоть до ITU-T standard. Ability for hardware manufacturers of any communication device to have Toda on device below the operating system and onto the communication layers (same layer of IPV4 and IPV6).

Вот теория протокола Algorand: https://arxiv.org/pdf/1607.01341.pdf. Заброшенное гнездо протокола Toda тут: http://www.todachain.com/ (им там, бедным, не до вебсайта: у них там дым коромыслом от последних событий). а теория тут: https://github.com/Toufi/Whitepaper/blob/master/TODA_Summary_A_New_Protocol_Approach_V15.pdf.

Вот коммерциализация (крутые топ-менеджеры от Toda, лауреаты премии Тьюринга от Algorand -- всё, как положено, https://www.todarand.com/aboutus): www.prnewswire.com/news-releases/todacorp-inc-and-algorand-llc-announce-the-first-decentralized-dual-protocol-ledger-and-ledgerless-blockchain-scalable-to-over-three-million-transactions-per-second-and-over-four-billion-users-300495630.html (хотя вот тут в разы более содержательно и абсолютно шапкозакидательно: https://www.todachain.com/single-post/2017/07/17/We-will-be-announcing-Toda-Algorand). И далее Toda-Algorand делает следующий шаг, уже финансовый: http://www.prnewswire.com/news-releases/toda-algorand-announced-today-a-new-commitment-of-300m-in-underwriting-capital-using-its-blockchain-platform-to-provide-microlending-at-less-than-4-in-interest-rate-targeting-the-emerging-market-300505893.html

И там ещё вот эта инициатива: https://www.aidecentralized.com/ -- "The heart of every autonomous AI is a Decentralized Blockchain", "870,000 AI Experts will Meet 280,000 Blockchainers". Это инициатива ACM. Я ж член ACM, про Toda-Algorand я из рассылки ACM узнал.

Начиная с этого момента распределённые реестры становятся для меня в разы и разы интересней. Похоже, что в распределённых реестрах меняется самый нижний уровень технологического стека, что означает крутые перемены в этом мире оверхайпа. Вся эта риторика про ООН и помощь бедным народам потихоньку сойдёт на нет, а технологии останутся.

UPDATE: обсуждение в facebook -- https://www.facebook.com/ailevenchuk/posts/10211289204759944
2019

NVDLA -- опенсорс хардвера для глубокого обучения от NVIDIA

Открытый код Verilog RTL для ускорителей вывода в свёрточных нейросетях, причём от NVIDIA -- http://nvdla.org/.

Начальная выкладка уже на GitHub и можно начинать знакомиться -- The initial RTL will be for a large NVDLA configuration with 2048 8-bit MACs, also configurable as 1024 16-bit fixed or floating point MACs. В четвёртом квартале будет Application supporting Caffe and TensorFlow models; most CNN related layers, а в первой половине 2018 там планируется полная поддержка программного стека глубокого обучения от NVIDIA (оптимизатор сеток TensorRT и далее по всему списку). Отладка предусмотрена: на FPGA Xilinx, но цель всего этого -- кусок IP для SoC в устройствах IoT.

По факту это раскрывается IP ускорителя архитектуры Xavier для робототехники (Xavier -- это "Exaflop for Megawatt" чип, вчера было анонсировано, что эта архитектура будет не только для беспилотных автомобилей, но и для дронов, и для роботов -- https://blogs.nvidia.com/blog/2017/09/25/gtc-china-jensen-huang-keynote/). Я на GTC в мае этого года задавал вопрос: зачем в Xavier отдельный блок ускорителя свёрточных сетей, если всё одно там тензорная машинка Volta внутри? Ответ был -- выигрывается до 30% по энергомощности для специализированных вычислений. Вот этим выигрышем и решили поделиться в опенсорс, для специализированных вычислений свёрточных сетей NVIDIA рынка SoC не жалко -- зато туда можно продвинуть софтверный стек NVIDIA (компиляция всего на CUDA) и ждать, пока люди научатся с ним работать и им потребуются вычисления помощнее. Например, захочется купить какой-нибудь DGX-1, чтобы научить сетку, которая будет ускоряться с использованием NVDLA на кастомном собственном чипе какого-то изготовителя IoT. Рынок ведь сложная штука: сначала рыбку прикармливаешь, а потом её в этом месте ловишь в количестве.

panchul этот проект должен быть тоже интересен: как это можно развернуть для учебного процесса. Ибо одно дело учить людей делать CPU, а другое дело -- учить делать на чипе ещё и ускорители для глубокого обучения, которые сейчас на пике моды. Открытого кода на Verilog RTL в мире ведь не так много, и этой новой возможностью можно пробовать воспользоваться.

Конечно, есть и другие IP акселерации на рынке, например PowerVR, но там код закрыт -- https://www.imgtec.com/blog/why-the-powervr-2nx-nna-is-the-future-of-neural-net-acceleration
2019

Лучшие солверы для решения дифференциальных уравнений: на Julia

Julia неправильно сравнивать с Java или PHP. Это язык вычислительной математики. Например, если сравнивать софт для численного решения дифференциальных уравнений, то Julia легко выигрывает у всех остальных вариантов: http://www.stochasticlifestyle.com/comparison-differential-equation-solver-suites-matlab-r-julia-python-c-fortran/

Со скорострельностью там тоже всё ОК: сравнивать из языков уровнем повыше можно только с Lua (если можно назвать Lua "языком уровнем повыше"),
https://discourse.julialang.org/t/benchmark-for-latest-julia/5991
benchmarks

Это всё обсуждалось сегодня в русскоязычном Julia-чате в Telegram: https://t.me/JuliaLanguage