November 11th, 2021

2021 год

lytdybr

Узнал, что ещё один наш студент по итогам прохождения курсов стал директором по развитию в немаленькой фирме, причём он пока даже не дошёл до СМС2021 (СМ2021, ОиК, СФ, ОдО и активное общение в чатах, а СМС2021 как раз следующий). То есть мы таки делаем директоров по развитию (директоров по цифровой трансформации, они по-разному называются), это не случайность. Крайне радует! Это и есть подтверждение того, что наши учебные программы работают. Это, а не "сдача экзаменов", "защита учебных работ". Обсуждали как раз в Новосибирске, что давно уже нет "выпускных экзаменов", есть "впускные". Скажем, собеседования на работе, или даже вступительные экзамены в ВУЗ. Выпускные "универсальные" экзамены не имеют смысла: везде разные требования на входе, ко всем требованиям "из жизни" не подготовишь. И на вопрос о том, хорошо или плохо работает Школа нужно отвечать не "смотрите, какие оценки у наших выпускников", а просто показывать их рабочие успехи.

Я в Якутске 23-24 ноября 2021, по линии клубов мышления, билеты уже куплены. Главная запрашиваемая тема, как всегда -- системное мышление. Но я ж понимаю, что после выхода ОдО2021 на эту тему нужно говорить только как об одной семнадцатой части интеллект-стека. Но ничего, на месте разберёмся.

Мне всё больше нравится рассказывать людям про citizen developers, которых скоро будет 4:1 по отношению к обычным кодерам (https://venturebeat.com/2021/10/22/gartner-citizen-developers-will-soon-outnumber-professional-coders-4-to-1/). Мне нравится ещё и подчёркивать, что они работают с инструментами, которые не запрещены IT-подразделениями, буквально. Вот из определения Gartner: A citizen developer is an employee who creates application capabilities for consumption by themselves or others, using tools that are not actively forbidden by IT or business units -- https://www.gartner.com/en/information-technology/glossary/citizen-developer. Это всё по линии low code/no code, раньше таких называли "продвинутый пользователь". Теперь признали, что если ты написал крутые формулы к Экселю, то ты тем самым не попользовался электронными таблицами, а создал приложение -- по факту побыл разработчиком. All citizen developers are business technologists. However, all business technologists are not necessarily citizen developers.

Важная работа по теории эволюции как многоуровневому обучению от физиков: https://arxiv.org/abs/2110.14602 We formulate seven fundamental principles of evolution that appear to be necessary and sufficient to render a universe observable and show that they entail the major features of biological evolution, including replication and natural selection. These principles also follow naturally from the theory of learning. We formulate the theory of evolution using the mathematical framework of neural networks, which provides for detailed analysis of evolutionary phenomena. To demonstrate the potential of the proposed theoretical framework, we derive a generalized version of the Central Dogma of molecular biology by analyzing the flow of information during learning (back-propagation) and predicting (forward-propagation) the environment by evolving organisms.

И работа с подтверждением гипотезы predictive processing: "The neural architecture of language: Integrative modeling converges on predictive processing", https://www.pnas.org/content/118/45/e2105646118. We find that the most powerful “transformer” models predict nearly 100% of explainable variance in neural responses to sentences and generalize across different datasets and imaging modalities (functional MRI and electrocorticography). Models’ neural fits (“brain score”) and fits to behavioral responses are both strongly correlated with model accuracy on the next-word prediction task (but not other language tasks). Model architecture appears to substantially contribute to neural fit. These results provide computationally explicit evidence that predictive processing fundamentally shapes the language comprehension mechanisms in the human brain.

Закончил чтение "Отчёта о состоянии AI" от 12 октября 2021 -- если кто-то хочет получить общую картинку происходящего в сфере исследований, рынка труда, промышленных применений, регулирования и даже чуть-чуть (одна страничка предсказаний) "по материалам прессы", то это самое оно: https://docs.google.com/presentation/d/1bwJDRC777rAf00Drthi9yT2c9b0MabWO5ZlksfvFzx8/mobilepresent. Я сам при этом придерживаюсь по нескольким пунктам чуток другого мнения о происходящем:
-- боюсь, что как с программированием: очень, очень много людей пишет формулы на Excel, не считая, что они IT industry (те самые citizen developers, которых 4:1 к профи-разработчикам), или сидят где-нибудь в IT-службе какой-нибудь газовой компании, где тоже не попадает в какую-то статистику. Вот и статистика по AI примерно такая же (при этом то, что считается AI тоже быстро прекращает быть AI и становится программистской рутиной). Масштаб происходящего IMHO недооценен (хотя можно возразить, что много исследований показывают наоборот -- завышение цифр, когда "традиционное IT" или даже вообще не IT вдруг делает инвестиционные заявления на тему AI, ибо это buzzword, пахнущее большими деньгами. Так что может быть два тренда встречаются и дают как раз верную оценку -- в любом случае это не проверить).
-- в исследованиях акцент дан на трансформеры как архитектуру работы с локальным вниманием как альтернативе RL. Я понимаю, что инерция в этом направлении велика, но считаю, что в следующем году в исследованиях проявятся два других важных тренда: нетрансформерские (и вообще не на базе attention) архитектуры, ибо вроде как интеллект подразумевает различные реализации и не-трансформеры явно недоисследованы (это как с convolution network, временное увлечение).
-- акцент на моделирование causality (слово побьёт explainability, похоже)
-- со страхами по поводу AI настолько всё похоже на ситуацию с ковидом, что можно ожидать каких-то странных регулятивных мер (пока там плохо проверяемые декларации об опасности против деклараций о плохо проверяемом регулировании типа "программы AI должны быть справедливыми, прозрачными, проверяемыми и уж точно более этичными и безопасными, чем средний человек").

Поглядел keynote на GTC'21, и как-то ничему не удивился. Все анонсы собраны в одну плотную кучку, по каждому анонсу показали, что "процесс идёт, скорость увеличивается": omniverse развивается, Orin таки будет выпущен в следующем году (вариант и для автомобилей, и для роботов), суперкомпьютер получил очередной чип обработки данных на 57млрд.транзисторов, и так дальше по мелочи. Такое впечатление, что всё это уже показывали. Акции NVIDIA рванули вверх, ибо после фейсбука вдруг обнаружилась компания, у которой метаверс не в будущем, как у Meta, а в настоящем (уже есть, и можно платить и пользоваться). Ну, цены на акции зависят не от дел, а от настроений фондовых аналитиков. А они явно были подогреты кампанией вокруг Meta. Впрочем, смотрите сами: https://www.youtube.com/channel/UCHuiy8bXnmK5nisYHUd1J5g. Обратите там внимание на Accelerating Science by a Million-X, впечатляющие результаты. Но уже как-то устаёшь удивляться, все эти чудеса доставляются по расписанию, ничего необычного.

Запомним: пошли грузоперевозки на автомобилях без водителя на "не последних милях", первым клиентом стал Walmart, автомобили Gatik -- https://ktla.com/news/nationworld/walmart-trucking-company-begin-1st-fully-driverless-delivery-route/.

А ещё прошли испытания будущей космической пращи. Ракету разгоняют в вакууме на центрифуге до нескольких скоростей звука, а затем выкидывают через запечатанную шахту (ракета прорывает плёнку, не дающую воздуху попасть внутрь разгонного устройства). Успешно запустили трёхметровый макет ракеты (пока там не было двигателей, но они планируются). Макет был заброшен на высоту нескольких километров ("десятки тысяч футов" это "несколько раз по три километра", то есть где-нибудь 6-9 километров). Катапульта 30% от нужного размера, это 50.4 метра высотой, а не полторы сотни метров. Нужный размер будет забрасывать (буквально) в воздух ракету, а та уж выводить спутники до 200кг весом. Пять запусков в день, 1 тонна выведенной массы в космос в день. Двигатели ракеты планируется возвращать, чтобы было подешевле. Вот: https://www.cnbc.com/2021/11/09/spinlaunch-completes-first-test-flight-of-alternative-rocket.html. Всё серьёзно: SpinLaunch has raised $110 million to date, from investors including Kleiner Perkins, Google Ventures, Airbus Ventures, Catapult Ventures, Lauder Partners and McKinley Capital. Текстовая новость прошла почти незамеченной, но вот сейчас вышло видео -- и все всполошились. Вот: https://www.youtube.com/watch?v=JAczd3mt3X0. Это нормальная системная инженерия, где быстрый цикл экспериментирования-прототипирования.

Восхитительная квалификация Вадимом Новиковым кейса по отказу работы с госбюджетом как "государство в роли иноагента" (https://www.facebook.com/vadim.novikov.39/posts/10226849590930405). Кейс был такой (https://www.facebook.com/alina.garbuznyak/posts/5284528958258528): "У меня довольно необычный вопрос, но уже просто не знаю, к кому обратиться. Мы в университете не можем потратить остаток гранта Минобрнауки (90 тыс.руб.), который планировался на покупку техники — ноутбука. Мы столкнулись с тем, что никто из поставщиков не хочет работать с госденьгами и с документами". Какая точная формулировка у Вадима! Главный иноагент у нас -- государство. Прикоснёшься -- не отмоешься потом.

От ВЦИОМа пришла рассылка с повесткой очередного заседания научного совета. И там пункт с формулировкой вопроса к обсуждению "Ведет ли существующая политика прививочной кампании к решению поставленных задач – вакцинации подавляющего большинства населения России?". Я не выдержал, написал им (хотя это будет, конечно, проигнорировано -- где я, а где ВЦИОМ?): "Кем поставлены такие задачи? Почему не обсуждается задача здоровья населения, причинная связь вакцинации с бесконечным числом бустеров (как у вируса гриппа – каждый год новый штамм, новая прививка) и здоровья населения, а просто тупо поставлена задача вакцинировать всех? Почему не уделяется внимания получению новых средств лечения вируса, а только вакцинированию? Почему принято врать об «окончательном решении вопроса» прививкой (хотя ещё зимой 2020 года все эксперты хором сказали, что вакцина ничего не решит, ибо коронавирус похож на грипп, а вакцины против гриппа не смогли создать – там каждый год новые штаммы)? Кому нужно обсуждение ненужных вопросов? Чиновники поставили задачу, пусть они и обсуждают, как лучше её выполнять. А социологи могут обсудить, что думает общество о своём здоровье, а не о выполнении бесполезных чиновничьих планов. На каком бустере они успокоятся? На десятом? Абонемент на прививку раз в три месяца? Сегрегация общества по количеству полученных бустеров – за пять бустеров малиновые штаны и три раза «ку»? Тема горячая, у меня про этот куар-код по три раза в день спрашивают, а здоровьем ещё никто не поинтересовался, вот ведь незадача какая!".

В Ridero на страничке покупки книги (не на страничке самой книги) показывается старая обложка, софт не сработал. Несколько человек уже с этим столкнулись и запутались: обсуждали у меня в чате как обновить уже купленную книгу. Дальше стандартная схема отписки: помощник автора говорит, что "техподдержка сказала, что ничего сделать не сможет". Эскалируем до начальника службы техподдержки, "разработчики сказали, что это у них не в приоритете". У разработчиков две опции: исправить программу, чтобы у всех поправилось, и поправить руками в базах. Конечно, не срабатывает ни одна. В яндекс.маркете мою проблему решили после обсуждения по пяти(!) каналам "техподдержки", а в Ridero, похоже это не получится. Церен Церенов и Анна Лубенченко встретились с другим багом: авторы в макете указываются в случайном порядке, а не в указанном авторами. Проблема решается путём загрузки книги несколько раз, пока случайный порядок не совпадёт с желаемым. Исправляться это тоже, как я понимаю, не будет. Подобные проблемы "безлюдных организаций", где один разработчик перегружен разработкой срочной новой фичи, а баги латать некому, ибо они "не в приоритете, я обсуждал в https://ailev.livejournal.com/1329314.html.

Разъезжал весь вечер на самокате, но последний маршрут пришлось делать с самокатом в руках, ибо выпал снег. Это нормально, вовсе не означает конца самокатного сезона. Снег в Москве хорошо убирают, и зимой вполне можно ездить по чистым морозным улицам. Понятие самокатного сезона по факту отменилось. Просто не нужно ездить в снег и дождь, летом это пара дней подряд может быть дождь, а зимой пара недель подряд (но не месяцев!) снег.

РуДалли рисует "Я веду самокат рядом с собой по заснеженной Москве". Нежить-художник отобразил всё правильно: самокат вроде есть, но если приглядеться, его вроде как нет.


UPDATE: обсуждение в https://www.facebook.com/ailevenchuk/posts/10221989449019363, в чате блога с https://t.me/ailev_blog_discussion/11162