May 18th, 2020

2019

SoTA искусственного интеллекта принадлежит богатым, и это не случайно

Опять вспомним тезис Sutton (http://incompleteideas.net/IncIdeas/BitterLesson.html), что в AI главное -- это вычислительная мощь, а не хитрость алгоритмов. Этот тезис получил интересные теоретические и экспериментальные свидетельства в работах https://arxiv.org/abs/1909.12673 и https://arxiv.org/abs/2001.08361. Ошибка генерализации оказалась вполне гладкой степенной функцией от размеров набора данных, размера сетки (число гиперпараметров, но форма -- ширина и высота -- оказались неважными) и вычислительной мощности. Тот, у кого больше вычислительной мощности, может для данного набора данных использовать модель побольше -- и его сетка будет умнее.

Весь вопрос в том, в каких границах соблюдается эта функция. Её проверяли на разлёте вычислительной мощности в миллиард раз. Графики в работе по второй ссылке заканчиваются десятком петафлоп-дней (PF-day = 10^^15 × 24 × 3600 = 8.64 × 10^^19 floating point operations), и хорошо видно, что будет больше мощности -- можно использовать модели побольше, и для тех же самых данных (которых всегда мало) получить результаты лучше. Можно ожидать, что для самых разных видов нейронных сетей закономерности будут похожими: существенно больше вычислений -- можно брать модель побольше и получать существенно больше интеллект для тех же самых по объёму данных.

Кто побогаче (грубо: кто может себе позволить датацентры, желательно во множественном числе, цена одного расчёта сегодня идёт на миллионы долларов), тот выучит для себя AI поумнее с superhuman возможностями. Кто победнее и не имеет много денег -- выучит сеть-полудурка. Всё остальное -- бантики.

Так что организации с датацентрами (Google и DeepMind, OpenAI и Microsoft, Facebook, Baidu и очень немного других) могут похвастаться дьявольски интересными результатами. А организации победнее могут похвастаться "многообещающими идеями" и "научными прорывами".

В 2012 году входная цена в AI была пара тысяч долларов на пару видеокарт NVIDIA. Сегодня NVIDIA говорит, что делает не видеокарты, а датацентры (https://ailev.livejournal.com/1518306.html) -- и не случайно. Сегодня входная цена на тот же "мировой уровень" в AI -- пара датацентров той же NVIDIA.

Полученная формула по факту говорит, что SoTA в AI сегодня зависит от вложенных денег прежде всего. Если вы придумываете алгоритм, получающий какой-то результат не за 50 PF-days, а за 1, то более богатый коллега потратит те же 50 PF-days на ваш алгоритм -- и получит результат/интеллект лучше. Так что ваш будет приоритет по алгоритму и SoTA по эффективности (и вы сможете продать этот алгоритм коллеге), а SoTA по результату/интеллекту будет у вашего более богатого коллеги. Да, стоимость вычислений быстро падает, но SoTA по силе интеллекта будет оставаться у богатых разработчиков. А у разработчиков победней всегда будут алгоритмы получше, но выучиваться таки будут относительные AI-полудурки, далёкие от SoTA.

Множество не очень богатых компаний будет пытаться выгодно пристраивать к работе задёшево выученных AI-полудурков. Эти полудурки могут быть вполне superhuman, хотя и с узкими способностям. И их хватит для очень и очень многих интересных дел! Но это всё-таки будут AI-полудурки. Впрочем, некоторые разбогатеют, и выучат себе интеллектов поумнее. И перейдут в другую лигу.

Небольшое число богатых компаний выгодно пристроят к работе AI с широкими способностями. И за умных им заплатят больше. Кто богат, станет ещё богаче.

Увиливание этих богатых компаний от неминуемого госрегулирования будет отдельной историей, но мы тут не про это. Мы тут про формулу, увязывающую выучиваемый уровень интеллекта и объем вычислений, то есть уровень интеллекта и деньги, за которые его можно купить.

Но ведь вы об этом всём и так догадывались, даже без формулы?

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10218458850316602
2019

Школьный май 2020

Мы решили, что уже слабо похожи на традиционные разрознённые "курсы". Наша образовательная программа всё больше и больше смахивает на длинную вузовскую программу "второго бакалавриата". А ещё у нас начали учиться не только взрослые уже люди, но и люди студенческого и школьного возраста. Поэтому мы приняли решение называть всех наших студентов студентами/students, а не курсантами/курсистками или учащимися/учениками. Вроде мелочь, но для меня она означает некоторую ступень в развитии Школы.

Провёл в эту субботу, надёюсь, последний раз "Образование для образованных" в формате лекции. Дальше буду пару месяцев готовить онлайн-курс: книжку (участники субботнего курса получили её черновик, там порядка 350 книжных страниц) и упражнения с выходом на мышление письмом.

В "Системном менеджменте и стратегировании 2020" я перестал вообще читать лекционный материал. Материал первых двух дней берётся в онлайн-курсе (blended learning), а остальных четырёх дней -- из видео предыдущих потоков. Все шесть дней наших тренинговых дней идёт именно тренинг: мы работаем над проектами студентов, идёт групповое обсуждение с моими комментариями и разъяснениями. Идея flip teaching полностью реализована. Курсанты таки тратят от двух до четырёх часов в день ежедневно на работу с нашим материалом, и получают не только "результаты обучения", но и рабочие результаты в своих проектах. Текущая группа СМС прошла уже чётыре дня из шести, результаты меня радуют. Вчера (день "совершенствование и развитие") мы успели поразбираться со связкой альф, методов и технологий, повторить материал прогресс-репорта по альфам с выходом в планирование работ, обменяться артефактами для выявления практик на предприятии, запланировать мероприятия по "пропитке" в рабочих проектах на следующую пару недель, обсудить особенности административного оформления постановки практик, опять пройтись по именам своих и целевых систем. Работа шла в синхронно-асинхронном режиме: трудно сказать, работа больше шла голосом, или в чате -- выход был не "к доске", а к чату, и удобство было и в том, что вызвать-опросить можно было сразу всю группу, не тратить время на устный опрос по одному. А обсуждать задокументированные в чате ответы -- обсуждать быстрее, конечно, голосом. MS Teams при этом удобен тем, что ответы в чате можно редактировать по ходу обсуждения.

Вот тут Максим Цепков ведёт очередной репортаж с конференции и обращает внимание на нашу форму ведения курсов: небольшие дистантные сессии с общением преподавателя и группы студентов и длинные перерывы для самостоятельной работы -- https://www.facebook.com/mtsepkov/posts/3030861283637472. Он приводит в пример мой шестидневный курс СМС2020, который идёт раз в две недели один тренинг. Но по факту, у нас давно уже все курсы не сводятся к нескольким дням "погружения". Так, курс "Онтологика и коммуникации" идёт 36 часов, разбитых на 12 трёхчасовых занятий раз в неделю, и много-много домашней работы и обсуждений в чате между этими занятиями -- https://system-school.ru/united. Да и все остальные курсы потихоньку идут к похожему формату. Переход на онлайн снимает издержки на путешествие к месту занятий, и можно бить курс на более короткие части. Некоторая проблема в невыполнении домашних заданий в такой организации обучения присутствует, но и её потихоньку решаем. Опять же: все занятия, обсуждения и работа с домашними заданиями идут в среде проектной работы MS Teams, и это сильно отличается от "занятия по Zoom".

Готовим стандарты наших трансдисциплин, в них формулировки чему и для чего учим. И потом по ним можно организовать проверку, научили ли. И иметь разные варианты курсов, учебников, упражнений и т.д. для разных наборов стандартов, или для разных уровней владения стандартами — проверять в этих курсах содержание образования на соответствие стандарту. Стандарт в его нынешнем виде -- это табличка с пятью колонками:
1. Онтика (набор понятий какой-то части курса)
2. Проверяемые навыки курсанта по работе с онтикой.
3. Для чего эти навыки используются в жизни.
4. Пример того, как курсант в жизни применяет эти навыки.
5. known issues в формулировках предыдущих четырёх.

Наша группа добровольцев начала работать над курсом системной психопрактики (часть материала обсуждений доступна на видео -- https://www.youtube.com/watch?v=IhKsucYapRM и https://www.youtube.com/watch?v=ChwJrlbCEeY). Онтологические основания обсуждаем по трём начальным источникам: Lundh https://yadi.sk/i/afLF0KU0bCVwwQ, Perez-Alvarez https://yadi.sk/i/yy1h7183xOvHDw, и (исключая его религиозные изыскания!) Wilber https://yadi.sk/i/ABze3f98XAxQZg (и даже по-русски https://yadi.sk/i/UJ2VbS4s9X3DLQ). Социальные взаимодействия вынесли в отдельный предмет.

Лаборатория телесного мышления интересуется применимостью системного фитнеса к глазным мышцам, в том числе цилиарной мышце, обеспечивающей аккомодацию. Антон Климат: "Я научился делать четкое зрение на 10 сек. при минус 3 и астигматизме. Проверка на строчках показала что мое четкое эт гдето на минус 1". Две диоптрии за счёт мышечной работы, неплохой результат. И ушами Антон шевелит на четыре дискретные позиции каждое ухо! Есть у кого учиться, есть с кем лабораторить! Кстати, курс "Системный фитнес" пойдёт в июне первый раз в дистантном формате, у нас всё для этого готово (а регулярные занятия уже давно идут, и короткая "Телесная инженерия" идёт прямо сейчас).

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10218463669917089