В современной дискуссии по тому, как сделать искусственный интеллект обсуждаются priors (иногда их называют innate priors, иногда architectural priors), то есть знания о мире, которые должны лечь в основу интеллекта как способности решения самого широкого класса задач. Deep learning -- это про поиск priors в удобных репрезентациях мира. Как презентовать мир, как строить модели мира в сознании (технически понимаемом! любителей медитаций и антропоморфности просьба не беспокоиться!) AI. Вот Yoshua Bengio в посте от 27 декабря 2019 с комментом о его пленарном выступлении на NurIPS (https://github.com/MontrealAI/MontrealAI.github.io/blob/master/aidebate/yoshuadefinitiondeeplearning.png): "Everything in my NeurIPS talk is really about adding priors to help learn better high-level representations". Речь идёт о многоуровневых представлениях мира, что и называется deep learning (при этом representation learnin -- это работа в том числе и с одноуровневыми представлениями. См. мои заметки 2012 года на эту тему, "я занимался deep learning ещё до того, как это стало модным" -- https://ailev.livejournal.com/1045081.html).
У меня гипотеза, что совершенно необязательно брать priors прямо из конструкции мозга (примеры priors интеллекта см., например, у François Chollet "On the Measure of Intelligence", https://arxiv.org/abs/1911.01547, там более близкий пониманию набор, чем у того же Bengio -- более высокоуровневые priors. Никто не сказал, что сами priors одноранговы! И я делю priors на innate/в аппаратуре и pretrain, как в языковых моделях, подробней в https://ailev.livejournal.com/1498481.html). Вполне можно брать priors из тех интеллектуальных практик, которые позволяют этому самому мозгу (вернее, коллективу мозгов!) иметь дело со сверхсложными ситуациями. Я имею ввиду системный подход.
В системном подходе два способа борьбы со сложностью:
-- работа с частями-целыми по уровням (собственно "системность" в борьбе с редукционизмом, понимаемым как игнорирование эмерджентности. Типа объяснение танца только мышечной работой, поэзии только биохимическими процессами в мозге человека).
-- обязательность рассмотрения функциональных, конструктивных, и пространственных разбиений по частям-целым в их взаимосвязи. Это в классике обрабатывается как "множественность представлений объекта", в онтологике это работа с микротеориями. Но обычно микротеории не привязываются к уровню крупности вещества (а я тут настаивал бы, что правильно бы привязываться к материальному миру в работе с частями-целыми сложных ситуаций, чтобы соотносить объекты разных микротеорий друг с другом).
Вот я бы что пробовал сейчас, так priors, связанные с системным представлением мира -- systems deep learning. Почему deep learning? Потому что по определению системное рассмотрение -- многоуровневое. Так что речь идёт о системной специализации representations learning, а именно многоуровневому обучению представлениям, systems deep learning. Простая мысль, что мир многоуровневый не так очевидна. Мереология, похоже, встроена в мозги как priors, а все описания тем самым привязаны к частям и целым -- к уровням системы, они системны. Редукционизм большинство людей знают как "просто умное слово, означает упрощение", значения его как упрощение в части игнорирования именно системных уровней не понимают. В этом фишка моего поста. Я и говорю: вставьте это в аппаратуру -- и неважно, самый нижний это уровень, или уровень когнитивной архитектуры (железо, микропрограммы, более высокий уровень -- неважно. Главное, запрограммируйте).
А ещё нужно заметить, что коннективизм, конечно, распространяется за пределы мозга -- а на совокупность мозгов тоже. Те же концепции памяти, внимания, сознания. Ибо мозги семи с половиной миллиардов человек плюс компьютерные мозги (память, процессоры), связанные уже и компьютерными коммуникациями, вполне себе простые элементы, на которых моделируется мир -- строятся распределённые представления мира, и эти представления (representations) должны быть системными. Каждая команда проекта, моделирующая в своих мозгах и компьютерах сложную систему может быть представлена как набор более-менее однородных простых элементов (элементы из уровеня conversational maturity level из https://medium.com/intuitionmachine/an-advanced-capability-maturity-level-for-artificial-general-intelligence-b300dafaca3f). И рассуждения "на способных к диалогу мозгах как примитивных элементах" при этом будут такими же, как в deep learning, коннекционистскими и речь пойдёт о глубоких представлениях. Я просто добавляю, что эти рассуждения должны быть системными -- учитывать многомасштабность, уровни физической организации окружающего мира. Вот он, нейронет.
Так что моя мысль проста: рассмотреть systems deep learning, где priors по тому, как устроена коннективисткая система моделирования мира, берутся из системного подхода (то есть не просто "выделять объекты", а выделять части и целые, на много уровней, разными способами). И эмерджентность, конечно, моделировать причинными графами (важность causal inference в тематике AI -- https://ailev.livejournal.com/1498998.html). Эти причинные/causal диаграммы должны строиться с учётом системных уровней, чтобы быть осмысленными: причины на более низком уровне, следствия проявляются как эмерджентные свойства следующего системного уровня.
Вот к этому можно прикручивать работы типа https://form2fit.github.io/ и https://cs.stanford.edu/~kaichun/partnet/ -- там как раз изучаются отношения часть-целое в инженерии, простейший случай.
UPDATE: обсуждение ВКонтакте -- https://vk.com/wall-44016343_26574, обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10217184890108393