May 20th, 2020

2019

Провели методсовет

Сегодня провели еженедельный методсовет, было пятнадцать человек (собралось примерно две трети от методологической команды):

1. Основные оргзвенья в Школе -- абитуриент, студент (было: курсант), выпускник/alumnus, исследователь (было: доброволец), преподаватель и администратор (и доброволец может вновь появиться тут). Помним про оргзвенья и роли (они вполне могут быть одноимёнными). Не путать с ролями в учебном процессе (методолог, разработчик курса, преподаватель как лидер и консультант, тьютор/коуч, организатор образования -- https://ailev.livejournal.com/1517176.html). Марк Акоев затеял обсуждение (https://www.facebook.com/ailevenchuk/posts/10218463669917089), почему мы не уходим под крыло какого-нибудь исследовательского университета (хотя он и шутит, что их в России в зависимости от способа счёта 1.73 или 1.75). Наш ответ: там всё дико медленно и куча возникающих из ниоткуда ограничений. Так что мы уж лучше как-нибудь сами. Но исследования у нас уже есть.

2. Я уже сделал черновик "книги учителя" с описанием Школы, и поскольку школа резко растёт, нужно и из этого материала сделать онлайн-курс, рассказывающий о Школе (там уже много, порядка 100 книжных страниц). И добавить туда более внятное описание сервисов Школы и интерфейсов этих сервисов (ага, это часть архитектуры предприятия). Школа вполне себе образовательная платформа, равно как исследовательская платформа, и должна стать ещё платформой просвещения. Вот и делать как платформу. Вот текст Церена Церенова на эту тему: https://www.facebook.com/tseren.tserenov/posts/2789676677796937

3. В разработке стандартов сразу пошли онтологические трудности. Решения:
-- ограничиться пока тремя стандартами (системное мышление, онтологика и коммуникация, системная психопрактика). Остальные дисциплины подождут, пока не наберём какой-то опыт в организации разработки и не получим приемлемых образцов самих стандартов.
-- докрутить промышленную проектную рабочую среду для групповой разработки (скорее всего это будет MS Teams+Word и думать, что там issue tracker, ибо Planner оказался таки убог). Сегодняшними темпами число исследователей бодро выйдет за 50 человек, начнутся неминуемые оргпроблемы, и среда разработки должна минимизировать эти проблемы, быть к этим масштабам готовой заранее.
-- всем исследователям, кто ещё не прошёл курс онтологики -- срочно пройти (там пока прошло 1 занятие из 12, так что можно нагнать). Похоже, что для исследователей онтологическая квалификация и квалификация в системном мышлении -- это must.

4. Курс организационного лидерства должен учесть:
-- курс системного менеджмента и стратегирования в части архитектуры предприятия и управления оргизменениями
-- курс онтологики и коммуникации в части коммуникации
-- курс психопрактик в части психопрактической работы с интервенциями
-- курс социопрактик (который пока только намечен)
-- собственно специфику лидерства (как собирать предыдущие перечисленные компетенции в одну лидерскую компетенцию, и что там потребуется ещё)

И что-то подобное у нас происходит каждый вторник. Елена Унру сегодня напомнила (https://vk.com/wall-178942621_328) о моём тексте 2011 года "Эскиз образовательного проекта" -- https://ailev.livejournal.com/961237.html. Всё не так футуристично, как в том давнем тексте, но даже более реально. И это мы пока не пользуем искусственный интеллект и не залезли глубоко в адаптивное обучение.

Я также предъявил на методсовете мои планы по курсописанию:
-- онлайн-курс и книга "Образование для образованных" [вот прямо сейчас]
-- онлайн-курс и книга "Системное мышление 2020" [улучшения к курсу я доложил -- ]
-- онлайн-курс и книга "Школа системного менеджмента" [черновик на сотню страниц уже есть]
-- онлайн-курс и книга "Системный менеджмент и стратегирование" (перевести окончательно курс на blended learning)

А ещё научное руководство. И преподавание. Ох, неподъёмно это всё. Зато интересней и интересней. Есть для чего просыпаться по утрам, текущий икигай найден. Так что просто берём и делаем. Образовываем образованных, усиливаем их интеллект. Заодно и свой интеллект растёт, что вдвойне приятно.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10218475439211314
2019

AI at Scale: к гонке экзафлопсов для AI присоединилась Майкрософт

Я дважды на прошлой неделе писал про начавшуюся гонку экзафлопсов. Кто богат, тот будет и машинно умён:
-- "В мире AI всё по-прежнему экспоненциально", где упоминал строительство NVIDIA собственного суперкомпьютера и переходе в NVIDIA на мышление "датацентрами" и их фрагментами: https://ailev.livejournal.com/1518306.html
-- "SoTA искусственного интеллекта принадлежит богатым, и это не случайно", где давал ссылки на исследования формулы прямой связи числа параметров и количества шагов вычислений в нейросетках с их качеством работы: https://ailev.livejournal.com/1518532.html

Вчера Майкрософт сделал инициативу AI at Scale, присоединившись к клубу строителей суперкомпьютеров для AI -- https://innovation.microsoft.com/en-us/ai-at-scale (технические подробности у них тут: https://ms-innovation-dev.azurewebsites.net/en-us/exploring-ai-at-scale). Речь идёт о публично доступной облачной инфраструктуре Azure с хорошо провязанными между собой кластерами с GPU V100 от NVIDIA. В качестве примера эффективности гигантомании в машинном интеллекте даётся нейросеть MS Turing NLG на 17 млрд. параметров. Всё это вычислительное богатство предлагается использовать в бизнесе, прямо сейчас, кому угодно -- только плати!

Microsoft вложила некоторое время назад $1млрд. в OpenAI. И значительная часть этих денег пошла на обеспечение масштаба в вычислениях, реализуется тот же тренд. OpenAI с Microsoft построили пятый по величине в мире суперкомпьютер, исключительно для своих исследований, о чём вчера и объявили -- https://venturebeat.com/2020/05/19/openai-microsoft-azure-supercomputer-ai-model-training/. Текст по ссылке обсуждает в том числе сложное сочетание тренда на пока экспоненциальное уменьшение объема вычислений для выполнения стандартных задач из https://venturebeat.com/2020/05/05/openai-begins-publicly-tracking-ai-model-efficiency/ и не менее экспоненциального роста требуемой компьютерной мощности в связи с ростом самих задач. Мало того, что весь "разгон" за счёт эффективных алгоритмов съедается растущей сложностью задач, но требуется этот рост сложности ещё и кормить добавочной вычислительной мощностью.
UPDATE: OpenAI построил модель GPT-3, которая может генерировать текст в несколько абзацев, неотличимый людьми от текстов, написанных людьми -- и на генерацию 100 страниц текста там уходит 0.4Квт*час, это буквально несколько центов, https://arxiv.org/abs/2005.14165

Ещё один знак: вся эта мощность начинает уходить не в обработку изображений и аудио, как было до сих пор. Нет, эта мощность начинает уходить на языковые модели, работу с текстами. AI как-то научается читать, и вынимать из огромного количества текстов кривую "народную" (ни разу не научную!) модель мира. Качеством данных, которыми кормят эти суперкомпьютеры, уже озаботились. Но вычислительной мощности весь этот текстовый интеллект требует вполне сравнимо с визуальным интеллектом. А идеи совместного обучения с аудио, видео и текстами требуют и вообще запредельных пока компьютерных мощностей. Но и в этом направлении есть прогресс, за счёт того же AI at Scale, пример тут майские рекорды по шести видам задач на описание изображений текстами -- https://www.microsoft.com/en-us/research/blog/objects-are-the-secret-key-to-revealing-the-world-between-vision-and-language/

NVIDIA тоже построила суперкомпьютер для своих исследований AI. И Гугль построил. Все участники гонки строят корпоративные и облачные "AI-синхрофазотроны" для исследований в AI, ибо машинный интеллект монетизируется примерно так же, как человечий интеллект, так что его выгодно разрабатывать. Монетизацию исследований элементарных частиц трудно придумать, а синхрофазотроны пока стоят ещё дороже, чем суперкомьютеры для AI. Но скоро суперкомпьютеры будут стоить уже дороже, чем синхрофазотроны, и они будут частные. Несмотря на тренд удешевления вычислений (он никуда не делся!), потребность в объёмах этих вычислений растёт быстрее. Гонка экзафлопсов идёт давно (https://en.wikipedia.org/wiki/Exascale_computing), но теперь она ориентируется не на моделирование погоды или ядерных взрывов, а на задачи AI, и ведётся частным сектором.

Вот это, я понимаю, "межотраслевые переливы капитала". Вот это, я понимаю, "структурная перестройка промышленности". Увы, ждём активного вмешательства политиков: слишком большой масштаб происходящего, чтобы они прошли мимо.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10218480891667622