Инженерия и исследования xGI: учитесь сами, чтобы научить и людей, и нежить
Онтологические ошибки при обсуждении AGI
Я пишу xGI, потому как если мы выходим на уровень, когда говорим о general intelligence, то уже неважно, это естественный/natural или искусственный/artificial, или ещё какой-нибудь. Narrow intelligence -- это который сегодня просто "универсальный алгоритм", низкоуровневая штука, вечная (и недостижимая: что хорошо для одного класса проблем, будет полной жутью для другого класса) мечта алгоритмистов. Подходы к narrow intelligence сегодня (как и всегда) продолжают называть AI, и сегодня там модны нейронные сети. Если интересно, что там происходит в плане инженерном, рекомендую смотреть обзоры gonzo-обзоры ML-статей, https://t.me/gonzo_ML. Там чёткий инженерный язык, постановка исследовательских задач, русскоязычный сленг предметной области, всё как мы любим. Сегодня я даже думал, не сделать ли какой онтологический обзор того, что там поминается, для алгоритмики универсальных алгоритмов это ведь бесценный материал: в речи очень густо поминаются типы объектов предметной области (архитектуры, архитектурные блоки, каналы, потоки, входы-выходы, внимания и гейты и много чего иного), и видно, что вопрос композиционности/модульности нейросетевых архитектур авторы этих обзоров для себя давно решили, и вот это решение нужно просто описать (основные типы объектов) и этому как-то учить явно в инженерном заходе (а не "исподволь", читая описания разных архитектур и статьи с новыми типами блоков, из употребления понятия "блок" разбираясь с тем, функциональные блоки ли это, или "конструктивные", и что там ещё важно, если уж обсуждаем "архитектуру" чего бы то ни было).
Но оставим универсальные алгоритмы и шагнём даже через уровень когнитивной архитектуры к уровню обсуждений AGI в целом. Онтологический статус AGI на данный момент не определён, "не договорились". То ли это робот, то ли свойство робота, то ли просто такой алгоритм (универсальный или не очень, тоже непонятно), то ли измеримое свойство алгоритма -- не определено. Если робот, то его нужно описывать, если свойство -- измерять. "Сильный интеллект" это одно понимание, а "интеллектуальный робот" -- это другое понимание.
Это всё ошибки теории понятий (путаница с объектами и отношениями как понятиями), семантики (путаница с тем, когда обсуждается физический мир, а когда описывающий его набор знаков), онтологии (иерархии понятий), логики (противоречия в рассуждениях по правилам игнорируются). И ещё методологии, в которой говорится, что всё ранее перечисленное работает только в контексте достижения какой-то цели (включая все разговоры о "бесцельности" в том плане, что минимизация fee energy не похожа на "цель", а функция наград может быть неизвестна, её тоже нужно как-то познавать/выучивать -- это я отсылаюсь к "термодинамическим" теориям эволюции, которые, конечно, тоже касаются проблематики интеллекта, мой подход к этому см. в третьем абзаце https://ailev.livejournal.com/1599573.html).
Если брать собственно AGI, как его обсуждают в сообществе AGIRussia (https://t.me/agirussia, а пост я написал по итогам моей краткой интервенции, начиная с https://t.me/agirussia/30620), то самая частая дискуссия выглядит так:
-- если взять три килограмма мышиного порошка и четыре порции голов саранчи, то у нас получится AGI
-- нет, это не будет AGI
-- нет, это будет именно AGI
-- ну вот у вас оно не взлетит. Так что не AGI
-- вы не любили, вам не понять. Взлетит, уже летает, хотя и брюшком по асфальту. Забираясь на всё более и более высокие деревья, попадём на Луну. Так что AGI
-- AGI должен ещё и уметь плавать, и нобелевки получать! А ваш, если взлетит, то только на Луну сможет! Поэтому не AGI!
-- ...
Если брать NGI (естественный, пока только человеческий общий/универсальный интеллект), то даун, дикарь, двоечник-пятиклассник, рассеянный профессор — это ж всё разное, и вроде как уже нельзя просто говорить, что AGI "всё делает на уровне человека" после того, как было продемонстрировано, что механический турок и эксперт — это как говорят в Одессе "две большие разницы", но и они не очень помогают (https://arxiv.org/abs/2109.06835), впрочем и нейросетка тоже неплохо может срабатывать (https://arxiv.org/abs/2009.07602), а ведь разнообразие человеков как на стороне оценщиков, так и на стороне оцениваемых даже больше, чем мой ряд от дауна до профессора (ибо шаг в сторону от профильной дисциплины профессора, и он будет показывать результаты хуже, чем специально обученный даун).
Но даже не это главное. Главное тут -- сам основной предмет спора, верность классификации, отнесение к классу AGI или отказ в таком отнесении. Это ничего не решает, ни одно решение не будет принято по-другому после отнесения или неотнесения к классу. Вот у нас в Школе есть даже красиво оформленная цитата от преподавателя онтологики:
"Является ли X интеллектом/AGI" — бессмысленный вопрос, его нужно избегать. Классификация (установление отношения is_a) сама по себе бессмысленна, если из неё не следует какое-то действие. Если по итогам классификации можно промахнуться мимо получения гранта за "несовпадение тематики", тогда надо обсуждать. Если же речь идёт о "классификации вообще", а не "классификации для получения награды", то должен быть full stop. Поскольку обычно в таких дискуссиях не предполагается хоть каких-то изменений действий хоть кого-нибудь от итога подобных обсуждений, их нужно немедленно прекратить (а непрекращающих отправлять читать Пирса, труды столетней давности про прагматический поворот в философии). Всё это подробно обсуждается в курсе "Онтология и коммуникация 2021".
Хотя можно признать, что "акт публичного отнесения к AGI" это такой "пиарный акт", но пиар и так нарисуют какой надо, было бы желание. Поинтересуйтесь у продавцов пластмассовых помидоров в розничных магазинах, как выдать эту безвкусицу за самые желанные "золотые яблоки" -- они вам расскажут. Но вы ж там даже не продаёте AGI!
Какого типа AGI из разговоров в AGIRussia?
Но давайте проигнорируем эту бесцельность спора и поинтересуемся, какого хотя бы онтологического типа AGI в типичных разговорах в AGIRussia? Обсуждаем колбасу, или её запах, или её "лежание в холодильнике" -- это вещь, свойство, или функция/поведение? В дискуссиях большинство формулировок про AGI почему-то не про "AGI, способный освоить то и сё", а "AGI, умеющий/освоивший то и сё". Хотя интеллект — это про способность (но вроде как "про способность", а не "сама способность", пока постулируем ассоциацию, но не говорим, что это свойство!).
Например, берём владение какого-то "AGI" (тут его вдруг начинают рассматривать как Робота Васю с конкретным серийным номером, обученного и готового к чему-то) человечьим/естественным языком. И как тут "сравнивать с человеком"?! Язык-то тоже разный может быть, а люди-полиглоты не так часто встречаются (хотя и не так редко). Ну, и дальше начинается: гуманитарий, умеющий отвечать поэтически и витиевато, но не владеющий логикой ни разу (переразвито интуитивное мышление в режиме S1 и недоразвито логическое медленное мышление S2 по Канеману, вот ровно как у нейросети GPT-3 сегодня) — это уже AGI или нет? Тесты Тьюринга ведь уже по паре сотен дисциплин пройдены, по которым люди не все смогут их пройти! И там тоже: китайский тест NGI без переобучения с испанского (на что человеку потребуется год-другой курсов китайского языка, а лучше бы ещё и проживание в Китае в это время) за год-другой не пройдёт, а от AGI это будут требовать "из коробки" -- ибо "как у человека!". Ерунда же, у человека не так: и скорость не та, и результаты не те. И опять: и что будет, если AGI пройдёт какой-нибудь очередной частный тест (например, таки сдаст экзамен ЕГЭ по литературе, https://ailev.livejournal.com/1489047.html)? И что будет, если не пройдёт (экзамен был сдан, "зрелым" на предмет "аттестата зрелости" никакой алгоритм, понятно, не признали)? Само "попадание в тот или иной классификационный таксон — это бессмысленное обсуждение, если непонятны следствия из этого попадания.
Но после того, как ушли от "попадания в класс AGI" надо всё-таки предложить, как обсуждать интеллект воробья по отношению к интеллекту профессора литературы в Оксфорде! Если переходить от бинарной классификации "это AGI" или "это не AGI" к оценке силы-общности интеллекта. Будем считать, что договорились силу интеллекта обсуждать как скорость решения проблем, а общность -- как закрытие приемлемой скоростью широкого класса проблем. Сразу понятно, что одной шкалой не отделаешься. Так, калькулятор умеет очень быстро умножать, и больше ничего, а воробей умножать быстро не умеет и вряд ли научится, но зато может решать достаточно широкий класс проблем, чтобы прокормить себя в диком мире, но оба они глупы, интеграл под кривой скорости по классам задач крайне мал по сравнению с человечьим.
Этот переход к шкалам от бинарного "интеллект есть" и "интеллекта нет" будет огромным шагом вперёд! За фразы типа "температура у воды в бутылке есть" и "температуры воды в бутылке нет" пятикласснику двойку ставят, а физиков таких не бывает. А тут "спецы по интеллекту" вдруг говорят "интеллект у девайса/алгоритма есть" или "интеллекта у девайса алгоритма нет", и заодно ещё могут про "сверхчеловечность" добавить ("сверхчеловеческой температуры воды в бутылке нет" -- хорошо звучит?).
Интеллект aka мыслительное мастерство -- это вычислитель, в котором есть аппаратура, и "прошивка".
В курсе "Образование для образованных 2021" я последовательно провожу линию на интеллект как вычислитель, занимающийся задачами познания. Это вещь, девайс, функциональный объект, реализованный то ли какими-то структурами мозга или даже (embodied intelligence) всего тела, или компьютером, или человеком и компьютером вместе, это неважно. Но это вещь, типа молотка, который нужен забивать. А интеллект нужен, чтобы мыслить. Вот текст об этом: "Чайник -- заваривает, молоток -- забивает, интеллект -- мыслит", https://ailev.livejournal.com/1590316.html. Проблема в том, что люди с трудом обсуждают что-то функциональное, скатываются на обсуждение конструктивных/физических объектов, цели использования которых неясны. Учит смотреть функционально на мир курс "Системное мышление 2022".
Я так вообще считаю, что интеллект — это вычислитель, а его характеристики вопрос отдельный: то есть сила, общность и т.д.. И без знакомства с литературой по измерению этих характеристик нельзя дальше обсуждать. Например, вот тут обзор, повторяю его уже несколько раз (но непохоже, чтобы кто-то тут это читал, но читать надо. Это, кстати, автор Keras писал, не последний человек в этой сфере): https://arxiv.org/abs/1911.01547 — и дальше там нужно читать более свежие тексты о пользе и вреде определения SoTA по батареям тестов (победам в Liderboards на самых разных датасетах и задачах к ним). Поэтому у муравья, коровы, человека и "человека с Гуглём" (реальные же люди именно таковы, они же не голенькие и без допинга в жизни, это же не спорт!) интеллекты (вычислители) по своей силе/скорости и общности/широте класса проблем, решаемых с приемлемой скоростью существенно различаются, это не "интеллект есть", "интеллекта нет".
Итак, это вычислитель для познания методов изменения мира, то бишь исследований (получении объяснений) того, как устроен мир и какими способами вот так устроенный мир можно изменить к лучшему (отдельный вопрос, что такое "к лучшему", но мы уже говорили, что термодинамические определения нам помогут, когда нет других более подходящих априорных утверждений, это ещё Jaynes обсуждал в "Логике науки", хотя и немного по-другому).
Дальше инженерное рассмотрение подобного вычислителя: там выделяем сразу два варианта -- "голый" вычислитель и "с алгоритмами". Ну типа как ваш телефон "голый" или "со всеми натасканными и настроенными приложениями" (пару десятков лет назад я бы говорил "голое компьютерное железо против железо с установленной операционкой и парой десятков нужных вам приложений", но жизнь быстро меняется, компьютер разъехался две части: одна ушла в датацентр/облако, а другая в правильно прошитый телефон. И большинству хватает, "пипл хавает"). В интеллекте мы можем считать, что его сила-общность задаётся на уровне "голого мяса/железа" как innate priors (врождённые особенности алгоритмов/аппаратуры) и "с установленной прошивкой и настроенными приложениями" как inductive bias (выученные в ходе предобучения предвзятости фичи, которые он потом будет распознавать и генерить).
Да, я немного уточняю обычное разнообразие использования словосочетания inductive bias (ибо в текущих текстах тут путаница идёт с innate priors, я развожу эти два понятия, и даже там несколько подобных уровней предобучения/прошивки актуальными навыками может быть, как несколько уровней микропрограммирования в процессорах, там ведь тоже есть "прошивки"). И дальше обсуждать нужно отдельно силу и универсальность интеллекта аппаратуры без предобучения и после предобучения. Сейчас же в дискуссиях типа тех, которые регулярно проходят в AGIRussia, сравнение этих "AGI" идёт то с Маугли из леса или человечьим трёхлеткой (по линии универсальности: "зато всему можно научить"), то с предобученным выпускником вуза из Нью-Йорка, и то ли человека обсуждаем уже (innate priors), то ли его хорошее образование (inductive bias), а в этом "AGI" то ли алгоритм и аппаратуру, то ли результат их хорошего предобучения.
Пока не прошла дискуссия о том, как обсуждать этот самый AGI с учётом его частей и состояний, обсуждать бесполезно. Годами будут идти споры "у бутылки температура есть!" (бутылки или воды в бутылке?), "у бутылки температуры нет!" (всё-таки не шкала, а опять таки таксон "наличие температуры" и бесполезный ответ к бесполезному вопросу), "у воды цвет есть!" (а у бутылки? А у бутылки с водой? А что такое цвет и чем отличается от цветности?), "у воды цвета нет!" (ах, опять таксон "наличие цвета" и бесполезный ответ к бесполезному вопросу).
Собственно, когда благородные доны, тьфу, "естественные интеллекты" обсуждают вопросы AGI, то они тоже должны демонстрировать некоторый интеллект: они должны быть предобучены. Моя работа по "Образованию для образованных 2021" как раз в эту точку и бьёт: если у вас хорошее мясо/железо и какой-то начальный оживляющий их "заложенный природой" (неплохие мозги, эволюционно конкурентные innate priors), то можно его предобучить (задать какими-то курсами/curriculum learning или даже прямо выучиванием/прошивкой knowledge graph как уже отжатой сильно информацией об объектах мира, то есть SoTA inductive bias), и скорость-сила интеллекта после правильного предобучения вырастет многократно за счёт цивилизационно лучшего выученного inductive bias, а не случайно полученного "опытом жизни в сложной среде".
Чтобы обсуждать интеллект, надо сначала его иметь. Учитесь.
Чтобы обсуждать прошивки AGI, нужно иметь свою прошивку NGI. Для обсуждения xGI (интеллекта как такового) тоже нужно проявлять интеллект, а этому интеллекту нужно научиться, иметь какую-то структуру знаний об интеллекте.
Про навязчивую рекламу учебных курсов в моём тексте, так -- да, буду рекламировать, ибо если не учиться интеллект-стеку, то будешь всё время делать подобные ошибки, как в предыдущих разделах текста, и не замечать их. Само умение системной инженерии и исследований (это если возражать, что мы тут AGI не делаем, а исследуем, не R&D занимаемся, а только R) в головах не самозарождается, и не даётся просто "опытом жизни". Его берут из курсов. Необязательно курсов ШСМ, но учиться нужно.
Например, учиться хорошей эпистемологии (всё-таки выругаюсь греческим словом, хотя оно тут и необязательно): как устроены объяснения в рациональном познании и как устроены сами исследования по получению этих объяснений, в отличие от местной русскоязычной гносеологии, куда кроме рационального познания ещё художественное познание и религиозное познание включены, и получается фантазийный винегрет.
Например, учиться хорошей системной инженерии: как менять мир к лучшему. Если у меня предметом исследования является стакан, то без понимания, что я с этим стаканом делаю (что хочу в мире изменить к лучшему при помощи стакана), невозможно исследовать: температуру его мерять, или твёрдость, или возможность приспособить его вместо молотка, или особенности фазовых переходов материала стакана (и хорошо, если это будет стекло! Остальные будут считать, что стакан металлический и всё время удивляться результатам обсуждения стекла в стакане. Это "не договорились про системные уровни, не договорились про состав"), или особенность употребления в речи (использование "стакана" как цепочки звуков!) слова "стакан" (не самого стакана) на разных языках. Если же начинают "просто исследовать стакан", то будет неудачка: каждый участник разговора будет исследовать для своей цели какого-то своего проекта — и без прояснения этих целей исследований договориться о "проекте исследований" не удастся. Некоторые участники дискуссии будут при этом рассказывать про исследования даже не стакана, а питьевого фонтанчика, ибо им не стакан нужен, а попить. Вот с интеллектом всё много, много хуже, чем со стаканом!
Это как философы приходят в "эти ваши интернеты" какую-то физику обсуждать, но физику знают даже не в объёме средней школы, а много меньше. Вот философы в AGIRussia, обсуждающие интеллект, тоже этот предмет знают в объёме средней школы (то есть делают удивительные заявления типа таких, какие я тут делал про стакан, бутылку, воду. Но поскольку предметом тут "интеллект", то ошибки не так просто отлавливаются без какого-то тренинга в мыслительных дисциплинах).
Но создание интеллекта (мясного, кремниевого, квантового, гибридного, коллективного -- неважно, на каком типе физики вычислителя) -- нормальная системноинженерная дисциплина, а исследования для этого -- нормальная часть исследований (вон, Google, Facebook, Microsoft вполне себе компании с software engineers, а статей по AI пишут и в конференциях участвуют побольше, чем многие университеты. Даже наш Сбер вроде как инженерная фирма, но "за этот год учёные и инженеры Сбера получили 90 патентов на исследования, опубликовали и представили к публикации 77 научных работ в ведущих мировых журналах". "Учёные и инженеры Сбера", так и написано в тамошних пресс-релизах по старинке, но нет уже отдельно учёных и инженеров, всё это общее давно. Тем не менее, можем считать, что потихоньку вырисовывается и научная/объяснительная дисциплина/теория. И тут вдруг посреди этого всего инженерно-исследовательского звучит высокохудожественная кулибинская речь про "сверхчеловеческий цвет воды: достигнут, или нет?". "Паровоз уже сильнее человека, или таки нет?" — без обсуждения понятия "силы" из школьного курса физики. Далее звучит, что "слабее, потому что человек может поднять килограммовую гирю в трёх метрах от рельсов, а паровоз не может!". То есть обсуждение идёт на уровне "А и Б сидели на трубе", никакой дисциплиной не пахнет. Вот такого сорта высокохудожественные диалоги тут просто изумляют, но я понимаю, что изнутри участников диалога всё ОК. Почему? Потому как нет правильных объектов внимания инженерного (и по сопричастности исследовательского) проекта, работе с этими объектами внимания нужно учиться. Тогда и ошибки будут видны, будут замечаться!
Так, "как создать AGI и какие проблемы надо для этого решить" — в системном мышлении начинают это "что делаем и как делаем" обсуждать на шаг раньше, а цепочку рассуждений тянут дальше (вот тут я стандартное привожу рассуждение в первом абзаце, https://ailev.livejournal.com/1592309.html, "определяем целевую систему в её окружении, потом понимаем, как она работает и из чего сделана, потом понимаем, какими практиками она сделана и какие роли играют эти практики, потом понимаем, какие актёры играют эти роли и как эти актёры организованы, потом понимаем, какие люди будут этими актёрами. Это рассуждение проводится для предмета кейса, и вообще для любой системы. Оно одно и то же".
Перед обсуждением системы создания AGI ("как создать AGI, какими практиками") обсуждают как раз что нужно создать, а для обсуждения этого обсуждают зачем создать (то есть даётся функциональное описание будущего AGI в его окружении), а для этого ещё и обсуждают потребности (описывают надсистему, включающую целевую, при этом описания берут как какое-то согласованное описание внешних проектных ролей -- тех, кому этот AGI нужен в их собственных проектах). Есть инженерная дисциплина, как это всё обсуждать, это системная инженерия с её инженерией требований как минимум. Обсуждать "как создавать нечто, которое неважно кем и как будет использоваться" — нельзя, даже если это AGI. Про то, что ссылка "а мы не создаём, мы исследуем" мы уже говорили: это не проходит, всё одно вам нужно будет в какой-то момент создать AGI в физическом мире, чтобы подтвердить или опровергнуть вашу гипотезу, и мы опять встретимся в инженерном проекте.
Системная схема проекта по созданию xGI -- это системная схема проекта учебного курса
То есть интеллект нужно обсуждать как целевую систему, нужно обсуждать важные характеристики/предметы интереса для системы "интеллект" (concerns), определяемые разными внешними проектными ролями, которые неплохо бы предъявить явно. Выявление целевой системы проекта -- это нормальное такое предпринимательство (оценка того, кому и зачем нужен вдруг AGI) и инженерия требований (уточнение, что это такое до уровня, достаточного для проектирования, изготовления и испытания). Если вот такой подход неприменим "в лоб" (отчасти неприменим, конечно, но отчасти применим, я напомню, что когда-то на хакатоне DeepHack чуток касался темы в англоязычном докладе, в 2016 году, хотя это давно было и сейчас бы я серьёзно поменял тамошнее изложение -- https://youtu.be/OYwZ0PIsVJE). В любом случае, если обсуждать "на коленке", неструктурированно, то нужно объяснять, почему не пользуешься мировым инженерным и исследовательским SoTA, а обсуждаешь ad hoc, "на коленке".
Вот тут у меня рассуждение про проект подъёма интеллекта человека за счёт обучения его какому-то мастерству в формате учебного курса. Ровно так же можно обсуждать и проекты создания другого мастерства, там же до чёртиков ролей, до чёртиков разных описаний нужно делать. Обсуждение всё-таки нужно структурировать инженерно, а не художественно-философски.
Системная схема учебного курса (системная схема создания мастерства, а интеллект — это мыслительное мастерство) подробней описана и в "Образовании для образованных 2021" и в "Системном мышлении 2021". Полное описание вместе с ролями в посте "Системная схема и подальфы учебного курса", https://ailev.livejournal.com/1575106.html). В схеме только мысленно замените "мастерство" на "интеллект", а если всё-таки прочли и текст про роли в этом проекте, то представьте, что роли человека, приносящего свою голову на обучение и роли носителя обучаемой головы исполняют первую -- человек-владелец будущего AGI (отношения рабовладения не рассматриваем! Они будут так же обсуждаться, как сейчас дискуссия про аборты: это сырьё для разума, или уже разум?") и нежить/AGI с какими-то прописанными в ней innate priors:
Это всё подробненько проходится в инженерных курсах, увы западных (хотя системной инженерии пару лет назад начали учить магистров и в УрФУ), если делать "железный интеллект" как стакан или бутылку. А если "исследовать" (R&D с упором на R), то нигде не проходится пока. Мы пытаемся развернуть в ШСМ обучение в этом направлении, но ещё не полностью закрыли курсами объяснения и исследования в контексте инженерных проектов. Вот тут показано, что мы успели закрыть:
Конечно, мы готовы учить по этой программе и людей, и нежить (подробней в "Онтологический статус интеллект-стека: мы не устраняем inductive bias, мы приветствуем его!" -- https://ailev.livejournal.com/1598826.html).
Чтобы делать xGI, сначала сделайте из себя киборга. Последовательность курсов для этого.
Мораль моего поста в в том, что нельзя "на коленке" заниматься инженерией или исследованиями, не имея представления о методе инженерии и методе исследований, не зная SoTA в этой области -- в интеллект-стеке. И не зная SoTA в предметной области самого предмета этой инженерии и исследований, то есть SoTA в AI. В случае с интеллектом эти предметные области интеллект-стека и AI во многом совпадают. И ещё во многом пригождается понимание того, что ближайшей предметной областью тут является не только software engineering и hardware engineering, но и педагогика (см. артигогику, я ещё в 2012 году писал об этом, на излёте зимы искусственного интеллекта, https://ailev.livejournal.com/1011621.html), и можно брать системную схему проекта учебного курса за прототип системной схемы проекта обучения AGI правильным inductive bias.
Интеллект -- это мыслительная трансдисциплина, в том числе она лежит в основе и предпринимательства (выборе цели исследований, выборе целевой системы инженерного проекта), инженерии (изменения мира) и менеджмента (организовать коллектив на то, чтобы было что-то сделано в объёме бОльшем, чем под силу одному человеку). Это добавляет сложности в обсуждение, но это не отменяет необходимости разбираться. Поэтому разбирающимся для начала нужно в голове выстроить SoTA разборок в этих областях, то есть обновить прошивку мозга на версию 2021 года. Дальше я упорно буду говорить, что для этого у меня есть курсы по интеллект-стеку, брать вот тут: https://system-school.ru/open-endedness (ага, это очередной маркетинговый пост. Ну, или просветительский. Каждый считает в меру своей испорченности или прозорливости).
Идеальная последовательность изучения курсов в ШСМ (если брать только онлайн-курсы и понимать, что по-настоящему научиться можно всё-таки только с преподавателями) такая:
— Системное саморазвитие (развернуть инфраструктуру киборга для себя, любимого. Ознакомиться с порядком работ по усилению интеллекта. Собрать себя в кучку)
— Онтологика и коммуникация (на выходе киборг понимающий и умеющий договориться с окружающими)
— Системное мышление (этот киборг уже соображает, как устроен труд, и как описать то, чем он занимается)
— Системный менеджмент (киборг способен сорганизовать коллектив киборгов на выполнение проекта)
— ОдО (киборг разбирается со своим собственным интеллектом и в какие проекты с ним идти, чтобы этот интеллект пригодился)
— Стратегирование (киборг ставит текущие цели себе и своим коллективам, планирует их достижение и не забывает эти цели вовремя менять, чтобы оставаться современным)
UPDATE: Обсуждение в чате блога: https://t.me/ailev_blog_discussion/12266, в https://t.me/agirussia/30639, https://www.facebook.com/groups/agirussia/posts/4889426444429228/, https://www.facebook.com/ailevenchuk/posts/10222207668634717
Я пишу xGI, потому как если мы выходим на уровень, когда говорим о general intelligence, то уже неважно, это естественный/natural или искусственный/artificial, или ещё какой-нибудь. Narrow intelligence -- это который сегодня просто "универсальный алгоритм", низкоуровневая штука, вечная (и недостижимая: что хорошо для одного класса проблем, будет полной жутью для другого класса) мечта алгоритмистов. Подходы к narrow intelligence сегодня (как и всегда) продолжают называть AI, и сегодня там модны нейронные сети. Если интересно, что там происходит в плане инженерном, рекомендую смотреть обзоры gonzo-обзоры ML-статей, https://t.me/gonzo_ML. Там чёткий инженерный язык, постановка исследовательских задач, русскоязычный сленг предметной области, всё как мы любим. Сегодня я даже думал, не сделать ли какой онтологический обзор того, что там поминается, для алгоритмики универсальных алгоритмов это ведь бесценный материал: в речи очень густо поминаются типы объектов предметной области (архитектуры, архитектурные блоки, каналы, потоки, входы-выходы, внимания и гейты и много чего иного), и видно, что вопрос композиционности/модульности нейросетевых архитектур авторы этих обзоров для себя давно решили, и вот это решение нужно просто описать (основные типы объектов) и этому как-то учить явно в инженерном заходе (а не "исподволь", читая описания разных архитектур и статьи с новыми типами блоков, из употребления понятия "блок" разбираясь с тем, функциональные блоки ли это, или "конструктивные", и что там ещё важно, если уж обсуждаем "архитектуру" чего бы то ни было).
Но оставим универсальные алгоритмы и шагнём даже через уровень когнитивной архитектуры к уровню обсуждений AGI в целом. Онтологический статус AGI на данный момент не определён, "не договорились". То ли это робот, то ли свойство робота, то ли просто такой алгоритм (универсальный или не очень, тоже непонятно), то ли измеримое свойство алгоритма -- не определено. Если робот, то его нужно описывать, если свойство -- измерять. "Сильный интеллект" это одно понимание, а "интеллектуальный робот" -- это другое понимание.
Это всё ошибки теории понятий (путаница с объектами и отношениями как понятиями), семантики (путаница с тем, когда обсуждается физический мир, а когда описывающий его набор знаков), онтологии (иерархии понятий), логики (противоречия в рассуждениях по правилам игнорируются). И ещё методологии, в которой говорится, что всё ранее перечисленное работает только в контексте достижения какой-то цели (включая все разговоры о "бесцельности" в том плане, что минимизация fee energy не похожа на "цель", а функция наград может быть неизвестна, её тоже нужно как-то познавать/выучивать -- это я отсылаюсь к "термодинамическим" теориям эволюции, которые, конечно, тоже касаются проблематики интеллекта, мой подход к этому см. в третьем абзаце https://ailev.livejournal.com/1599573.html).
Если брать собственно AGI, как его обсуждают в сообществе AGIRussia (https://t.me/agirussia, а пост я написал по итогам моей краткой интервенции, начиная с https://t.me/agirussia/30620), то самая частая дискуссия выглядит так:
-- если взять три килограмма мышиного порошка и четыре порции голов саранчи, то у нас получится AGI
-- нет, это не будет AGI
-- нет, это будет именно AGI
-- ну вот у вас оно не взлетит. Так что не AGI
-- вы не любили, вам не понять. Взлетит, уже летает, хотя и брюшком по асфальту. Забираясь на всё более и более высокие деревья, попадём на Луну. Так что AGI
-- AGI должен ещё и уметь плавать, и нобелевки получать! А ваш, если взлетит, то только на Луну сможет! Поэтому не AGI!
-- ...
Если брать NGI (естественный, пока только человеческий общий/универсальный интеллект), то даун, дикарь, двоечник-пятиклассник, рассеянный профессор — это ж всё разное, и вроде как уже нельзя просто говорить, что AGI "всё делает на уровне человека" после того, как было продемонстрировано, что механический турок и эксперт — это как говорят в Одессе "две большие разницы", но и они не очень помогают (https://arxiv.org/abs/2109.06835), впрочем и нейросетка тоже неплохо может срабатывать (https://arxiv.org/abs/2009.07602), а ведь разнообразие человеков как на стороне оценщиков, так и на стороне оцениваемых даже больше, чем мой ряд от дауна до профессора (ибо шаг в сторону от профильной дисциплины профессора, и он будет показывать результаты хуже, чем специально обученный даун).
Но даже не это главное. Главное тут -- сам основной предмет спора, верность классификации, отнесение к классу AGI или отказ в таком отнесении. Это ничего не решает, ни одно решение не будет принято по-другому после отнесения или неотнесения к классу. Вот у нас в Школе есть даже красиво оформленная цитата от преподавателя онтологики:
"Является ли X интеллектом/AGI" — бессмысленный вопрос, его нужно избегать. Классификация (установление отношения is_a) сама по себе бессмысленна, если из неё не следует какое-то действие. Если по итогам классификации можно промахнуться мимо получения гранта за "несовпадение тематики", тогда надо обсуждать. Если же речь идёт о "классификации вообще", а не "классификации для получения награды", то должен быть full stop. Поскольку обычно в таких дискуссиях не предполагается хоть каких-то изменений действий хоть кого-нибудь от итога подобных обсуждений, их нужно немедленно прекратить (а непрекращающих отправлять читать Пирса, труды столетней давности про прагматический поворот в философии). Всё это подробно обсуждается в курсе "Онтология и коммуникация 2021".
Хотя можно признать, что "акт публичного отнесения к AGI" это такой "пиарный акт", но пиар и так нарисуют какой надо, было бы желание. Поинтересуйтесь у продавцов пластмассовых помидоров в розничных магазинах, как выдать эту безвкусицу за самые желанные "золотые яблоки" -- они вам расскажут. Но вы ж там даже не продаёте AGI!
Какого типа AGI из разговоров в AGIRussia?
Но давайте проигнорируем эту бесцельность спора и поинтересуемся, какого хотя бы онтологического типа AGI в типичных разговорах в AGIRussia? Обсуждаем колбасу, или её запах, или её "лежание в холодильнике" -- это вещь, свойство, или функция/поведение? В дискуссиях большинство формулировок про AGI почему-то не про "AGI, способный освоить то и сё", а "AGI, умеющий/освоивший то и сё". Хотя интеллект — это про способность (но вроде как "про способность", а не "сама способность", пока постулируем ассоциацию, но не говорим, что это свойство!).
Например, берём владение какого-то "AGI" (тут его вдруг начинают рассматривать как Робота Васю с конкретным серийным номером, обученного и готового к чему-то) человечьим/естественным языком. И как тут "сравнивать с человеком"?! Язык-то тоже разный может быть, а люди-полиглоты не так часто встречаются (хотя и не так редко). Ну, и дальше начинается: гуманитарий, умеющий отвечать поэтически и витиевато, но не владеющий логикой ни разу (переразвито интуитивное мышление в режиме S1 и недоразвито логическое медленное мышление S2 по Канеману, вот ровно как у нейросети GPT-3 сегодня) — это уже AGI или нет? Тесты Тьюринга ведь уже по паре сотен дисциплин пройдены, по которым люди не все смогут их пройти! И там тоже: китайский тест NGI без переобучения с испанского (на что человеку потребуется год-другой курсов китайского языка, а лучше бы ещё и проживание в Китае в это время) за год-другой не пройдёт, а от AGI это будут требовать "из коробки" -- ибо "как у человека!". Ерунда же, у человека не так: и скорость не та, и результаты не те. И опять: и что будет, если AGI пройдёт какой-нибудь очередной частный тест (например, таки сдаст экзамен ЕГЭ по литературе, https://ailev.livejournal.com/1489047.html)? И что будет, если не пройдёт (экзамен был сдан, "зрелым" на предмет "аттестата зрелости" никакой алгоритм, понятно, не признали)? Само "попадание в тот или иной классификационный таксон — это бессмысленное обсуждение, если непонятны следствия из этого попадания.
Но после того, как ушли от "попадания в класс AGI" надо всё-таки предложить, как обсуждать интеллект воробья по отношению к интеллекту профессора литературы в Оксфорде! Если переходить от бинарной классификации "это AGI" или "это не AGI" к оценке силы-общности интеллекта. Будем считать, что договорились силу интеллекта обсуждать как скорость решения проблем, а общность -- как закрытие приемлемой скоростью широкого класса проблем. Сразу понятно, что одной шкалой не отделаешься. Так, калькулятор умеет очень быстро умножать, и больше ничего, а воробей умножать быстро не умеет и вряд ли научится, но зато может решать достаточно широкий класс проблем, чтобы прокормить себя в диком мире, но оба они глупы, интеграл под кривой скорости по классам задач крайне мал по сравнению с человечьим.
Этот переход к шкалам от бинарного "интеллект есть" и "интеллекта нет" будет огромным шагом вперёд! За фразы типа "температура у воды в бутылке есть" и "температуры воды в бутылке нет" пятикласснику двойку ставят, а физиков таких не бывает. А тут "спецы по интеллекту" вдруг говорят "интеллект у девайса/алгоритма есть" или "интеллекта у девайса алгоритма нет", и заодно ещё могут про "сверхчеловечность" добавить ("сверхчеловеческой температуры воды в бутылке нет" -- хорошо звучит?).
Интеллект aka мыслительное мастерство -- это вычислитель, в котором есть аппаратура, и "прошивка".
В курсе "Образование для образованных 2021" я последовательно провожу линию на интеллект как вычислитель, занимающийся задачами познания. Это вещь, девайс, функциональный объект, реализованный то ли какими-то структурами мозга или даже (embodied intelligence) всего тела, или компьютером, или человеком и компьютером вместе, это неважно. Но это вещь, типа молотка, который нужен забивать. А интеллект нужен, чтобы мыслить. Вот текст об этом: "Чайник -- заваривает, молоток -- забивает, интеллект -- мыслит", https://ailev.livejournal.com/1590316.html. Проблема в том, что люди с трудом обсуждают что-то функциональное, скатываются на обсуждение конструктивных/физических объектов, цели использования которых неясны. Учит смотреть функционально на мир курс "Системное мышление 2022".
Я так вообще считаю, что интеллект — это вычислитель, а его характеристики вопрос отдельный: то есть сила, общность и т.д.. И без знакомства с литературой по измерению этих характеристик нельзя дальше обсуждать. Например, вот тут обзор, повторяю его уже несколько раз (но непохоже, чтобы кто-то тут это читал, но читать надо. Это, кстати, автор Keras писал, не последний человек в этой сфере): https://arxiv.org/abs/1911.01547 — и дальше там нужно читать более свежие тексты о пользе и вреде определения SoTA по батареям тестов (победам в Liderboards на самых разных датасетах и задачах к ним). Поэтому у муравья, коровы, человека и "человека с Гуглём" (реальные же люди именно таковы, они же не голенькие и без допинга в жизни, это же не спорт!) интеллекты (вычислители) по своей силе/скорости и общности/широте класса проблем, решаемых с приемлемой скоростью существенно различаются, это не "интеллект есть", "интеллекта нет".
Итак, это вычислитель для познания методов изменения мира, то бишь исследований (получении объяснений) того, как устроен мир и какими способами вот так устроенный мир можно изменить к лучшему (отдельный вопрос, что такое "к лучшему", но мы уже говорили, что термодинамические определения нам помогут, когда нет других более подходящих априорных утверждений, это ещё Jaynes обсуждал в "Логике науки", хотя и немного по-другому).
Дальше инженерное рассмотрение подобного вычислителя: там выделяем сразу два варианта -- "голый" вычислитель и "с алгоритмами". Ну типа как ваш телефон "голый" или "со всеми натасканными и настроенными приложениями" (пару десятков лет назад я бы говорил "голое компьютерное железо против железо с установленной операционкой и парой десятков нужных вам приложений", но жизнь быстро меняется, компьютер разъехался две части: одна ушла в датацентр/облако, а другая в правильно прошитый телефон. И большинству хватает, "пипл хавает"). В интеллекте мы можем считать, что его сила-общность задаётся на уровне "голого мяса/железа" как innate priors (врождённые особенности алгоритмов/аппаратуры) и "с установленной прошивкой и настроенными приложениями" как inductive bias (выученные в ходе предобучения предвзятости фичи, которые он потом будет распознавать и генерить).
Да, я немного уточняю обычное разнообразие использования словосочетания inductive bias (ибо в текущих текстах тут путаница идёт с innate priors, я развожу эти два понятия, и даже там несколько подобных уровней предобучения/прошивки актуальными навыками может быть, как несколько уровней микропрограммирования в процессорах, там ведь тоже есть "прошивки"). И дальше обсуждать нужно отдельно силу и универсальность интеллекта аппаратуры без предобучения и после предобучения. Сейчас же в дискуссиях типа тех, которые регулярно проходят в AGIRussia, сравнение этих "AGI" идёт то с Маугли из леса или человечьим трёхлеткой (по линии универсальности: "зато всему можно научить"), то с предобученным выпускником вуза из Нью-Йорка, и то ли человека обсуждаем уже (innate priors), то ли его хорошее образование (inductive bias), а в этом "AGI" то ли алгоритм и аппаратуру, то ли результат их хорошего предобучения.
Пока не прошла дискуссия о том, как обсуждать этот самый AGI с учётом его частей и состояний, обсуждать бесполезно. Годами будут идти споры "у бутылки температура есть!" (бутылки или воды в бутылке?), "у бутылки температуры нет!" (всё-таки не шкала, а опять таки таксон "наличие температуры" и бесполезный ответ к бесполезному вопросу), "у воды цвет есть!" (а у бутылки? А у бутылки с водой? А что такое цвет и чем отличается от цветности?), "у воды цвета нет!" (ах, опять таксон "наличие цвета" и бесполезный ответ к бесполезному вопросу).
Собственно, когда благородные доны, тьфу, "естественные интеллекты" обсуждают вопросы AGI, то они тоже должны демонстрировать некоторый интеллект: они должны быть предобучены. Моя работа по "Образованию для образованных 2021" как раз в эту точку и бьёт: если у вас хорошее мясо/железо и какой-то начальный оживляющий их "заложенный природой" (неплохие мозги, эволюционно конкурентные innate priors), то можно его предобучить (задать какими-то курсами/curriculum learning или даже прямо выучиванием/прошивкой knowledge graph как уже отжатой сильно информацией об объектах мира, то есть SoTA inductive bias), и скорость-сила интеллекта после правильного предобучения вырастет многократно за счёт цивилизационно лучшего выученного inductive bias, а не случайно полученного "опытом жизни в сложной среде".
Чтобы обсуждать интеллект, надо сначала его иметь. Учитесь.
Чтобы обсуждать прошивки AGI, нужно иметь свою прошивку NGI. Для обсуждения xGI (интеллекта как такового) тоже нужно проявлять интеллект, а этому интеллекту нужно научиться, иметь какую-то структуру знаний об интеллекте.
Про навязчивую рекламу учебных курсов в моём тексте, так -- да, буду рекламировать, ибо если не учиться интеллект-стеку, то будешь всё время делать подобные ошибки, как в предыдущих разделах текста, и не замечать их. Само умение системной инженерии и исследований (это если возражать, что мы тут AGI не делаем, а исследуем, не R&D занимаемся, а только R) в головах не самозарождается, и не даётся просто "опытом жизни". Его берут из курсов. Необязательно курсов ШСМ, но учиться нужно.
Например, учиться хорошей эпистемологии (всё-таки выругаюсь греческим словом, хотя оно тут и необязательно): как устроены объяснения в рациональном познании и как устроены сами исследования по получению этих объяснений, в отличие от местной русскоязычной гносеологии, куда кроме рационального познания ещё художественное познание и религиозное познание включены, и получается фантазийный винегрет.
Например, учиться хорошей системной инженерии: как менять мир к лучшему. Если у меня предметом исследования является стакан, то без понимания, что я с этим стаканом делаю (что хочу в мире изменить к лучшему при помощи стакана), невозможно исследовать: температуру его мерять, или твёрдость, или возможность приспособить его вместо молотка, или особенности фазовых переходов материала стакана (и хорошо, если это будет стекло! Остальные будут считать, что стакан металлический и всё время удивляться результатам обсуждения стекла в стакане. Это "не договорились про системные уровни, не договорились про состав"), или особенность употребления в речи (использование "стакана" как цепочки звуков!) слова "стакан" (не самого стакана) на разных языках. Если же начинают "просто исследовать стакан", то будет неудачка: каждый участник разговора будет исследовать для своей цели какого-то своего проекта — и без прояснения этих целей исследований договориться о "проекте исследований" не удастся. Некоторые участники дискуссии будут при этом рассказывать про исследования даже не стакана, а питьевого фонтанчика, ибо им не стакан нужен, а попить. Вот с интеллектом всё много, много хуже, чем со стаканом!
Это как философы приходят в "эти ваши интернеты" какую-то физику обсуждать, но физику знают даже не в объёме средней школы, а много меньше. Вот философы в AGIRussia, обсуждающие интеллект, тоже этот предмет знают в объёме средней школы (то есть делают удивительные заявления типа таких, какие я тут делал про стакан, бутылку, воду. Но поскольку предметом тут "интеллект", то ошибки не так просто отлавливаются без какого-то тренинга в мыслительных дисциплинах).
Но создание интеллекта (мясного, кремниевого, квантового, гибридного, коллективного -- неважно, на каком типе физики вычислителя) -- нормальная системноинженерная дисциплина, а исследования для этого -- нормальная часть исследований (вон, Google, Facebook, Microsoft вполне себе компании с software engineers, а статей по AI пишут и в конференциях участвуют побольше, чем многие университеты. Даже наш Сбер вроде как инженерная фирма, но "за этот год учёные и инженеры Сбера получили 90 патентов на исследования, опубликовали и представили к публикации 77 научных работ в ведущих мировых журналах". "Учёные и инженеры Сбера", так и написано в тамошних пресс-релизах по старинке, но нет уже отдельно учёных и инженеров, всё это общее давно. Тем не менее, можем считать, что потихоньку вырисовывается и научная/объяснительная дисциплина/теория. И тут вдруг посреди этого всего инженерно-исследовательского звучит высокохудожественная кулибинская речь про "сверхчеловеческий цвет воды: достигнут, или нет?". "Паровоз уже сильнее человека, или таки нет?" — без обсуждения понятия "силы" из школьного курса физики. Далее звучит, что "слабее, потому что человек может поднять килограммовую гирю в трёх метрах от рельсов, а паровоз не может!". То есть обсуждение идёт на уровне "А и Б сидели на трубе", никакой дисциплиной не пахнет. Вот такого сорта высокохудожественные диалоги тут просто изумляют, но я понимаю, что изнутри участников диалога всё ОК. Почему? Потому как нет правильных объектов внимания инженерного (и по сопричастности исследовательского) проекта, работе с этими объектами внимания нужно учиться. Тогда и ошибки будут видны, будут замечаться!
Так, "как создать AGI и какие проблемы надо для этого решить" — в системном мышлении начинают это "что делаем и как делаем" обсуждать на шаг раньше, а цепочку рассуждений тянут дальше (вот тут я стандартное привожу рассуждение в первом абзаце, https://ailev.livejournal.com/1592309.html, "определяем целевую систему в её окружении, потом понимаем, как она работает и из чего сделана, потом понимаем, какими практиками она сделана и какие роли играют эти практики, потом понимаем, какие актёры играют эти роли и как эти актёры организованы, потом понимаем, какие люди будут этими актёрами. Это рассуждение проводится для предмета кейса, и вообще для любой системы. Оно одно и то же".
Перед обсуждением системы создания AGI ("как создать AGI, какими практиками") обсуждают как раз что нужно создать, а для обсуждения этого обсуждают зачем создать (то есть даётся функциональное описание будущего AGI в его окружении), а для этого ещё и обсуждают потребности (описывают надсистему, включающую целевую, при этом описания берут как какое-то согласованное описание внешних проектных ролей -- тех, кому этот AGI нужен в их собственных проектах). Есть инженерная дисциплина, как это всё обсуждать, это системная инженерия с её инженерией требований как минимум. Обсуждать "как создавать нечто, которое неважно кем и как будет использоваться" — нельзя, даже если это AGI. Про то, что ссылка "а мы не создаём, мы исследуем" мы уже говорили: это не проходит, всё одно вам нужно будет в какой-то момент создать AGI в физическом мире, чтобы подтвердить или опровергнуть вашу гипотезу, и мы опять встретимся в инженерном проекте.
Системная схема проекта по созданию xGI -- это системная схема проекта учебного курса
То есть интеллект нужно обсуждать как целевую систему, нужно обсуждать важные характеристики/предметы интереса для системы "интеллект" (concerns), определяемые разными внешними проектными ролями, которые неплохо бы предъявить явно. Выявление целевой системы проекта -- это нормальное такое предпринимательство (оценка того, кому и зачем нужен вдруг AGI) и инженерия требований (уточнение, что это такое до уровня, достаточного для проектирования, изготовления и испытания). Если вот такой подход неприменим "в лоб" (отчасти неприменим, конечно, но отчасти применим, я напомню, что когда-то на хакатоне DeepHack чуток касался темы в англоязычном докладе, в 2016 году, хотя это давно было и сейчас бы я серьёзно поменял тамошнее изложение -- https://youtu.be/OYwZ0PIsVJE). В любом случае, если обсуждать "на коленке", неструктурированно, то нужно объяснять, почему не пользуешься мировым инженерным и исследовательским SoTA, а обсуждаешь ad hoc, "на коленке".
Вот тут у меня рассуждение про проект подъёма интеллекта человека за счёт обучения его какому-то мастерству в формате учебного курса. Ровно так же можно обсуждать и проекты создания другого мастерства, там же до чёртиков ролей, до чёртиков разных описаний нужно делать. Обсуждение всё-таки нужно структурировать инженерно, а не художественно-философски.
Системная схема учебного курса (системная схема создания мастерства, а интеллект — это мыслительное мастерство) подробней описана и в "Образовании для образованных 2021" и в "Системном мышлении 2021". Полное описание вместе с ролями в посте "Системная схема и подальфы учебного курса", https://ailev.livejournal.com/1575106.html). В схеме только мысленно замените "мастерство" на "интеллект", а если всё-таки прочли и текст про роли в этом проекте, то представьте, что роли человека, приносящего свою голову на обучение и роли носителя обучаемой головы исполняют первую -- человек-владелец будущего AGI (отношения рабовладения не рассматриваем! Они будут так же обсуждаться, как сейчас дискуссия про аборты: это сырьё для разума, или уже разум?") и нежить/AGI с какими-то прописанными в ней innate priors:
Это всё подробненько проходится в инженерных курсах, увы западных (хотя системной инженерии пару лет назад начали учить магистров и в УрФУ), если делать "железный интеллект" как стакан или бутылку. А если "исследовать" (R&D с упором на R), то нигде не проходится пока. Мы пытаемся развернуть в ШСМ обучение в этом направлении, но ещё не полностью закрыли курсами объяснения и исследования в контексте инженерных проектов. Вот тут показано, что мы успели закрыть:
Конечно, мы готовы учить по этой программе и людей, и нежить (подробней в "Онтологический статус интеллект-стека: мы не устраняем inductive bias, мы приветствуем его!" -- https://ailev.livejournal.com/1598826.html).
Чтобы делать xGI, сначала сделайте из себя киборга. Последовательность курсов для этого.
Мораль моего поста в в том, что нельзя "на коленке" заниматься инженерией или исследованиями, не имея представления о методе инженерии и методе исследований, не зная SoTA в этой области -- в интеллект-стеке. И не зная SoTA в предметной области самого предмета этой инженерии и исследований, то есть SoTA в AI. В случае с интеллектом эти предметные области интеллект-стека и AI во многом совпадают. И ещё во многом пригождается понимание того, что ближайшей предметной областью тут является не только software engineering и hardware engineering, но и педагогика (см. артигогику, я ещё в 2012 году писал об этом, на излёте зимы искусственного интеллекта, https://ailev.livejournal.com/1011621.html), и можно брать системную схему проекта учебного курса за прототип системной схемы проекта обучения AGI правильным inductive bias.
Интеллект -- это мыслительная трансдисциплина, в том числе она лежит в основе и предпринимательства (выборе цели исследований, выборе целевой системы инженерного проекта), инженерии (изменения мира) и менеджмента (организовать коллектив на то, чтобы было что-то сделано в объёме бОльшем, чем под силу одному человеку). Это добавляет сложности в обсуждение, но это не отменяет необходимости разбираться. Поэтому разбирающимся для начала нужно в голове выстроить SoTA разборок в этих областях, то есть обновить прошивку мозга на версию 2021 года. Дальше я упорно буду говорить, что для этого у меня есть курсы по интеллект-стеку, брать вот тут: https://system-school.ru/open-endedness (ага, это очередной маркетинговый пост. Ну, или просветительский. Каждый считает в меру своей испорченности или прозорливости).
Идеальная последовательность изучения курсов в ШСМ (если брать только онлайн-курсы и понимать, что по-настоящему научиться можно всё-таки только с преподавателями) такая:
— Системное саморазвитие (развернуть инфраструктуру киборга для себя, любимого. Ознакомиться с порядком работ по усилению интеллекта. Собрать себя в кучку)
— Онтологика и коммуникация (на выходе киборг понимающий и умеющий договориться с окружающими)
— Системное мышление (этот киборг уже соображает, как устроен труд, и как описать то, чем он занимается)
— Системный менеджмент (киборг способен сорганизовать коллектив киборгов на выполнение проекта)
— ОдО (киборг разбирается со своим собственным интеллектом и в какие проекты с ним идти, чтобы этот интеллект пригодился)
— Стратегирование (киборг ставит текущие цели себе и своим коллективам, планирует их достижение и не забывает эти цели вовремя менять, чтобы оставаться современным)
UPDATE: Обсуждение в чате блога: https://t.me/ailev_blog_discussion/12266, в https://t.me/agirussia/30639, https://www.facebook.com/groups/agirussia/posts/4889426444429228/, https://www.facebook.com/ailevenchuk/posts/10222207668634717