Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Онтологии и бибинарная модель мышления

Интересно сравнить, что происходит с онтологиями (это я только что закончил рассказ про достижения коннективистов -- http://ailev.livejournal.com/1304964.html). Я бы сказал, что с онтологиями почти ничего и не происходит -- потихоньку наступает онтологическая осень, если не зима.

Вот, например, моделирование 4D в OWL --NdFluents: A Multi-dimensional Contexts Ontology, https://arxiv.org/abs/1609.07102. Утверждают, что могут теперь добавлять выражение в OWL не только измерения/dimension времени, но и любое другое (вау! Именно поэтому NdFluents, хотя обсуждают в статье 4dFluents). ISO 15926 (где тоже пытались добавить в OWL всякое разное для выражения 4D онтологии -- и это кривовато, но получилось) в этой статье даже не поминают, хотя весь список литературы там про 4D в онтологиях.

Или вот ещё забавное: Towards an Ontology-Driven Blockchain Design for Supply Chain Provenance https://arxiv.org/abs/1610.02922 -- там сделали онтологию отслеживания происхождения товара, а затем записали её на языке смарт-контрактов эфириума!

Но -- онтологические новости есть, при этом никаких прорывов, увы. Ничего, захватывающего дух.

На этой неделе я несколько раз разъяснял про своё отношение к онтологиям в эпоху наступившей "вдруг" эпистемологии. Для меня онтологии -- это байесовские priors при начале обучения, начале эпистемологического вопрошания к миру.

Онтологии -- это начальное (иногда символическое, иногда и коннективистское, типа заранее выученных на каком-то корпусе embeddings) формальное, то есть статическое и в какой-то мере логичное знание, которое потом непрерывно оживляется и уточняется в рамках коннекционистской (deep learning) или вероятностной (байесовское обучение) парадигмы.

Даже в форме embeddings (все эти Everything2vec) семантик это всё priors, они используются как инициализация в обучении, но в конечном итоге reasoning идёт не по предварительно выученному формализованному/схематизированному/сжатому онтологическому знанию, а по живой модели, учитывающей и другие онтологии, и нюансы контекста, в том числе динамику во времени:
-- коннекционистская линия тут по мотивам Nando de Freitas в http://ailev.livejournal.com/1240509.html
-- байесовская линия тут по мотивам E.T.Jaynes "Probability theory: the logic of science", http://bookzz.org/book/539703/d8b66c

Системы -- они в глазах смотрящего. Каждый viewpoint (метамодель, онтология) несовместим с другими, просто по определению. Потуги загнать всех а хоть и в тот же ISO 15926 -- это просто потуги, хотя любой локальный успех в этих потугах значим и сильно облегчает жизнь.

Объединить все эти (foundational, upper, middle, domain, ontology modules/microtheories) онтологии можно только деятельностно: только через то, что все эти view (определяемые вполне дисциплинарно, через viewpoints-онтологии как метамодели, как классификаторы) оказываются на один и тот же индивид в реальном мире. Он разный в разных онтологиях, но в реальности-то он один -- и можно договориться, сверяясь с происходящим в реальности. Для этих договорённостей мы переходим на естественный язык, плюс в парадигмальный формализм (ух! если это, конечно, формализм -- но по мере понимания это можно и формализмом считать) непрерывного (а не дискретного Аристотелевского) рассмотрения: байесовский, коннекционистский или любой другой, подходящий для обучения и вывода/reasoning.

Системный подход эпистемологичен, он про деятельное познание мира стейкхолдерами, но через признание viewpoints он даёт шанс и для онтологий. Деятельностный подход, который провозглашает опору на основанные на дисциплинах/теориях (даже если это не совсем теории, а наборы эвристик) практики -- он тоже даёт шанс для онтологий, это часть системного подхода.

Удержание акцента на деятельности в реальном мире удерживает от проваливания в чистый и бесплодный формализм, в классическую метафизику. В системном подходе всё про обучение, эпистемологию, развитие во времени. Это не про онтологию-метафизику с предвечными физическими объектами, из которых состоит мир и предвечными абстрактными объектами -- классификаторами этих физических объектов. Тем не менее, онтология-метафизика в системном подходе важны как установка priors, отправная точка, подарок цивилизации, воплощение её многотысячелетнего опыта, без онтологий и онтик нельзя -- ибо теряешь тяжким цивилизационным трудом полученные оценки вероятности положения дел в мире, теряешь эти самые priors. Если потерять эти priors, то после этого в одиночку пройти в обучении путь цивилизации не дано ни искусственному, ни естественному, ни сверхъестественному/сверхъискусственному интеллекту. Так, чтобы понять, что в природе происходит за тысячу лет, нужно реально следить за природой тысячу лет. В онтологии это знание отражено хоть как-то, без онтологии нужно этому знанию учиться тысячу лет от самой природы. Не хотелось бы попадать в такую ситуацию, хотелось бы унаследовать от цивилизации всё её знание, все текущие картины мира, все наличные онтологии.

Мышление живёт тем самым в виде культурного reasoning в рамках известных priors (мышление по схемам, "по рельсам" в мозгу -- взятым из культуры, из литературы, но когда-то бывшими контринтуитивными, http://ailev.livejournal.com/1013690.html) и всегда существующего дичкового "интуитивного" рассуждения/reasoning -- мимо всех priors разных "культурных дисциплин", в том числе мимо онтологий/priors для самих методов мышления, методов рассуждения (рационального и иррационального). Части мышления можно научить, добиться его автоматичности, эта часть мышления устроена онтологично. Это культурная часть, она растёт по мере развития цивилизации. А части мышления научить "объяснением-тренировкой" нельзя, она учится просто на предъявлении всего материала окружающей жизни -- и, конечно, плюс материала того окультуренного кусочка мышления, которое удалось создать. Культура плюс непонятный и не рефлексируемый, не берущийся интроспекцией дичок, известная и неизвестная части мышления -- мышление едино в этих двух своих частях.

Мы ж предъявляем себе мир во всём его растущем разнообразии каждый день, так что мышление-дичок на этих предъявлениях мира тоже тренируется, и наш дичок совсем не таков, каков он был у людей какого-нибудь 19 века. Более того, наш дичок живёт бок о бок с совсем другой культурной частью мышления, мышлением по схемам, и в мир он является как результат и культурного мышления по схемам-формализмам и чисто звериного чутья на что-то новое, не ухватываемого формализмами. В конце концов, все эти формализмы и были контринтуитивно выявлены этим звериным чутьём мышления-дичка, формализмы культуры растут на дикой почве совсем неформального, непрерывного мира.

А ещё у нас не птолемеевская модель человека, а вполне себе коперниковская. Мышление живёт промеж людей. Коммуникация идёт с максимальным сжатием информации, по возможности в схемах -- при этом коммуникация идёт даже внутри самого человека, мозг сам живёт "промеж людей", он сам себе "коперниковский": это ведь и есть феномен сознания (Attention Schema Theory: сознание это механизм коннекционистского внимания, использующий схему, упрощённое представление того, что происходит в нейросети мозга в целом -- http://ailev.livejournal.com/1193568.html). Разговор с собой -- это тоже разговор, он уже в каком-то смысле сжат, в локальных представлениях, символичен, буквы и слова разговора как сериализации распределённой коннекционистской модели несут на себе какое-то значение из тысяч и тысяч употреблений, в полном соответствии с distributed morphology и прочими распределёнными гипотезами (http://ailev.livejournal.com/1284038.html). Помним про заранее вычисленные embeddings -- хотя в мире людей такого нет, и у каждого буквы и слова и даже предложения и тексты имеют совсем свои значения, тем не менее какие-то общечеловеческие "бесконтекстные значения" вполне могут подразумеваться, их можно обсуждать как priors для последующего содержательного разговора о конкретных жизненных ситуациях, конкретных контекстах. И уж тем более важна формализация для сжатия информации и компактизации разговора с другими людьми по какой-то узкой проблеме, и предварительное обучение значениям слов (см., например, https://wiki.lesswrong.com/wiki/Inferential_distance -- предварительное обучение важно, и оно долго).

Эту ветку рассуждений (про пользу схематизации) я сегодня обсуждал в дискуссии к https://www.facebook.com/photo.php?fbid=10157559879340153&set=a.10150756245230153.722787.658410152. Но когда речь заходит о заранее неизвестной ситуации, "новизне", новом опыте, то формализмы и схемы aka онтологии не работают. Это обсуждалось сегодня в https://www.facebook.com/ailevenchuk/posts/10208334175166051. Для мышления нужно устанавливать дальние связи между наличной информацией о ситуации, а дальние связи берутся только через дополнительные уровни абстракции, часто несколько (http://ailev.livejournal.com/1274014.html).

Если обратиться к формализму для выражения этих "дальних абстракций" (дальних по предметам/дисциплинам/теории или дальним во времени разговора и/или мышления), то будет засада: важные для одних вопросов связи и абстракции оказываются абсолютно неважными для других вопросов. Поэтому:
а) IBM Watson для Jeopardy! (это 2011, http://ailev.livejournal.com/909342.html) исключительно полнотекстовыми материалами пользовался, ничего не кодировал в "граф знаний" -- любая обработка могла отсечь какую-то информацию (в том числе информацию по собственно тексту: в вопросах же часто была игра слов! Поэтому от оригинальных текстов отказываться было принципиально нельзя. Кодирование в соответствии с какой-то foundational и upper ontology могло запросто бы отсечь важную для какого-то вопроса информацию, поэтому ничего не кодировалось, а для полнотекстовой работы использовали суперкомпьютер, чтобы полнотекстовая работа происходила в приемлемое время).
б) все эти "каталоги" и "фолксономии" вымерли, ибо через пять лет после создания вся система рубрикации умирает -- отстаёт от текущих соображений по организации знания. Выживают не каталоги и рубрикаторы, выживает только полнотекстовый поиск. То, что казалось важными отношениями 5 лет назад, полностью теряет свою значимость, и на передний план выступают совсем другие отношения, запросы идут на совсем другую тему, и "рубрикация" и "классификация" прежних лет оказывается не помогающей что-то найти и что-то вспомнить, а наоборот -- не пускающей что-то найти из важного в текущей ситуации, предлагающей находить важное в предыдущих ситуациях. Жёсткая рубрикация-онтологизация помогает выигрывать всегда в прошлой войне, хотя этот выигрыш обычно и крайне эффективен по ресурсам. Искать же новое нужно всегда мимо рубрикаторов, мимо предметных онтологий. Если вы писали и рубрицировали текст, будучи погружённым в одну деятельность, в рамках одной онтологии, то запрос может прийти из совсем другой деятельности, другой онтологии -- и вы тут пропадёте, хотя вся необходимая для ответа на запрос информация в тексте будет. Но она пропадёт при сжатии ситуации или картинки, или текста, при формализации, при создании по ситации или картинке или тексту модели. Модель, схема, онтология -- это всегда неполнота, это всегда акцент на "важном" для какой-то деятельности и потеря важного для другой деятельности.

Поэтому храним оригинальную неформальную информацию (ну, может быть сжимаем её по-коннективистски или байесовски, а не формализацией в дискретную логическую форму), связи же устанавливаем динамически -- через доступные нам абстракции (уж как можем). Ну, и формальную информацию (онтологии) используем по возможности тоже не слишком формально -- всё одно для этой формальности в какой-то момент наступает предел, достоинства переходят в недостатки, простота и точность рассуждения/reasoning/вывода по модели оборачивается несоответствием вывода и реальности.

Это всё пока не слишком ясные даже для самого меня рассуждения, но они позволяют сформулировать важность символьных/логических и коннекционистских/байесовских представлений не только через объяснение различных вычислительных проблем с ними (типа "символьный формализм слишком переборный, с ним вывод плохо работает"), но и из каких-то содержательных соображений. И объяснить важность как онтологии, так и эпистемологии, а не шараханья от одного к другому и обратно. И объяснить между ними содержательную связь.

Системное мышление эпистемологично, деятельно, оно именно поэтому хорошо развивается в инженерии (и отчасти в менеджменте), а не в (моноонтологичных/монопредметных по определению, "онтичных" даже, а не "онтологичных") науках, ибо для науки требуется формальная непротиворечивость её теорий. В инженерии формальной непротиворечивости не нужно, нужны успешные системы и жизненная непротиворечивость, непротиворечивость в реальности (ибо модели, бывают, врут -- хотя они и формально непротиворечивы).

Системное мышление вполне стыкуется через viewpoints с науками, оно берёт научные модели, научные теории как priors, а потом сделанное "по науке" рассуждение доводится до реальности "по Байесу" или "коннекционистски", а то и вовсе путём экспериментов в реальности, т.е. методом проб и ошибок -- мимо формальных в любом смысле этого слова рассуждений, мимо формального моделирования. Результаты же инженерной работы сохраняются в виде "опыта" и усиливают "дичок" мышления -- ровно как результаты научной работы сохраняются в виде "образованности" и усиливают культурную часть мышления, использующую формализмы.

Вот такая вот бибинарная модель мышления (культурное-дичок, формальнодискретное-непрерывное -- и не нужно поддаваться искушению строить тут из них традиционную матрицу 2*2). Хотя правильно сразу оговориться, что никакой дваждыбинарности у мышления нет. Оно, конечно, полиполинарное. Просто про мышление мы ещё мало знаем, и предложенные мной различалки совсем необязательно будут бинарными оппозициями, арности типологии могут быть самыми разными, моё рассуждение само по себе не слишком формально не претендует на строгую научную теорию мышления.

Так, у Педро Домингоса кроме символистской, байесовской, коннективистской моделей есть ещё эволюционная модель и "по аналогии" (http://www.mann-ivanov-ferber.ru/books/verhovnyj-algoritm/ -- книжка доступна уже по-русски). Тоже отличная типология, и можно пробовать написать альтернативную версию устройства мышления по ней (скажем, разделив в моей версии байесовский и коннекционистский вариант и описав каждый из них более подробно -- у меня в тексте поста они слиты в "непрерывном" варианте логики в оппозиции к дискретному Аристотелевскому). Но я пока не буду писать альтернативных версий. Пусть пока будет бибинарная модель: забавно звучащее слово, заодно оно хорошо сбивает пафос.
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 59 comments
Замечательный текст. Современная "Ильенковщина" (в хорошем, позитивном и конструктивном смысле этого слова) в аспекте "деятельностной" природы мышления.
Хотелось бы картинку простенькую, где онтология со временем.
Читайте Криса Партриджа, у него много в книжке картинок для онтологии со временем: http://www.borosolutions.co.uk/research/content/files/books/BusObj-Printed-20050531-with-watermark.pdf
Спасибо, быстро пролистал, и увидел 1) иерархию состояний (глава 10) 2) состояния иерархий (глава 17). Это все, что можно сказать про онтологию во времени?

Не понял вопроса. Вы про онтологию времени спрашиваете (например, модели данных в шестой нормальной форме), или про онтологическую инженерию (скажем, управление конфигурацией онтологии, всякие diff/merge), или про проблемы типа ontology revision?

Я вам дал ссылку на книжку по 4D экстенсиональной онтологии, в которой подробно рассказывается, как представлять онтологически корректно всякие изменения в мире -- типа смены насоса или президента, жизненные циклы, процессы на предприятиях и прочие связанные со временем ситуации. Почитайте подробней, мне за эту книжку много разных людей спасибо говорили.
Поделитесь ссылкой на используемую Вами классификацию.
Пишите, пожалуйста, попроще -- а то вроде все слова знаю, но совершенно ничего не понятно!
Там вряд ли все слова понятны, если не проходить по ссылкам (а при проходе могут целые книжки обнаруживаться, увы).

Ну, и я в самом тексте написал, что на данный момент проще не могу. Я вообще рад, что удалось это всё как-то записать хотя бы для себя самого, а не просто "думать в голове". Мне кажется, что в этом тексте есть несколько идей, которые я в литературе в таком виде не встречал вместе. Хотя понятно, что порознь все идеи давно описаны -- но в разных местах, и поэтому вместе не встречались.
Там всё понятно, если владеть матчастью)
нет.
Ну, на самом деле, посты Анатолия лишь на первый взгляд кажутся выполненными в "простом и понятном" ключе. Чтобы их понимать правильно, нужно иметь опыт автора или сопоставимый в обсуждаемом вопросе. Так что я Ваше возражение понимаю :)

Я попробую объяснить немного. Есть две проблемы онтологического моделирования.

Первая -- это вычислительная трудность точного вывода на выразительных онтологиях. Кто пробовал плотно работать с OWL, тот знает. Проблема фундаментальная и не лечится ничем. Физически возможен только либо неполный вывод, либо онтология не может быть выразительной. Т.е. встает другая, не менее фундаментальная, проблема практичски достаточной полноты вывода и выразительности онтологии. Попытки обуздать эту проблему есть (TrOWL, например), но они пока носят сугубо экспериментальный характер.

Вторая, куда более сложная, проблема онтологического моделирования -- это "несимвольные" онтологии. И дело здесь вовсе не в том, что онтологии трудно расширить на, например, числовые данные или те же изображения. Речь идет о таких пока сложных элементах когнитивного кодирования как чувства, интуиция и др., которые, как оказывается, играют важнейшую роль в системе знаний человека. Формализация чувств -- это одна их постановок проблемы Сильного ИИ в узком смысле. Проблема формализация чувств не проще проблемы формализации сознания. Есть известный концентуальный разрыв ("трудная проблема" по Чалмерсу) между символьным знанием и образным (феноменальным). Тот коннекционизм, к которому обычно аппелируют, как к возможному решению "трудной проблемы" на самом деле фундаментально ничего не решает. ИНС (как квинтессенция коннекционистского подхода) работают на цифровых ЭВМ, т.е. сугубо символьны по своей базовой природе.

Эти две трудных проблемы проходят красной линией через весь ИИ, имеют множество манифестаций в разных его подразделах. И, соответственно, есть много попыток так или иначе их преодолеть. Спектр очень широкий: от полного отрицания наличия проблемы как таковой, до полного отрицания вообще возможности создания "ИИ уровня человека" на цифровой ЭВМ. Как мне здесь видится, именно о них Анатолий рассуждал, со своей колокольни.
>Ну, на самом деле, посты Анатолия лишь на первый взгляд кажутся выполненными в "простом и понятном" ключе. Чтобы их понимать правильно, нужно иметь опыт автора или сопоставимый в обсуждаемом вопросе. Так что я Ваше возражение понимаю :)
Вот именно. "Матчасти", как вы написали выше, недостаточно, нужно ещё обладать таким же или сравнимым опытом. У меня с теорией всё хорошо, но практический опыт несколько другой.

За объяснение спасибо.

Ну, мне кажется, ограничиваясь именно существующими онтологиями для решения этих проблем, далеко не уйдёшь -- если в руках молоток, всё кажется гвоздём, но не все гвозди можно забивать этим молотком :)

А вот если говорить про весь класс онтологий -- то легко заметить, что он вычислительно эквивалентен любой другой базе данных (конечно, если сверху добавить инструменты для работы с онтологией, т.е. если забить на воображаемо-полезный маппинг "одно понятие онтологии -- одно понятие реального мира").
Да и вообще, все беды онтологов -- именно от этой попытки натянуть объекты онтологии на объекты мира. Даже сама задача в такой формулировке кажется странной.

С т.з. инструментария глубоких нейросетей, формализация и обработка чувств (не органов чувств, а эмоционального аппарата человека) -- это очень легко.
И "сознание" само по себе сделать -- очень легко.
Но "сознание" -- лишь одно из тысячи компонентов мозга. И вот большая часть этих компонентов пока что работает "через раз" -- что с помощью нейросетей, что с помощью онтологий, что с помощью руками написанных детерминированных алгоритмов.

Так что проблема ИИ -- это на текущий день проблема, как собрать из кучи плохо работающих компонент одно хорошо работающее целое.
> "Матчасти", как вы написали выше, недостаточно,

Под матчастью я как раз имел в виду те самые сложные проблемы ИИ, которых сейчас известно две основных (проблема вычислительной сложности универсального обучения и проблема сильного ИИ), но у них очень много частных манифестаций. И, так или иначе, все текущие обсждения в ИИ крутятся вокруг них.

> С т.з. инструментария глубоких нейросетей, формализация и обработка чувств (не органов чувств, а эмоционального аппарата человека) -- это очень легко.

Не то, чтобы я с этим как-то спорил. Я сам считаю, что проблема сильного ИИ уже благополучно решена как на философском, так и на математическом уровнях. Но характеристика "очень легко" применительно к трудной проблеме сознания пока еще преждевременна, на мой взгляд. Особенно, учитывая имеющийся сейчас инструментарий глубоких нейронных сетей.

Т.е. я что хочу сказать. Сейчас известно, что две выше обозначенных трудных проблемы имеют частные решения. И придумать какое-то частное решение-кандидат, более-менее хорошее, не так уж трудно (посильно человеку). А вот придумать решение, которое бы хорошо работало на человеческом когнитивном материале в широком случае и обладало еще и предсказательной силой, пока не удавалось. Кроме всего прочего, консенсуса ни в отношении того что искать, ни, тем более, в отношении того как искать.

buriy

January 3 2017, 06:27:07 UTC 4 months ago Edited:  January 3 2017, 06:29:05 UTC

>А вот придумать решение, которое бы хорошо работало на человеческом когнитивном материале в широком случае и обладало еще и предсказательной силой, пока не удавалось.
Решения-то придуманы. И предсказательной силой обладают, и неплохо работают -- для некоторых задач уже достаточно.
Но недостаточно хорошо, и в основном потому, что 1) пока что по прежнему слишком дорого учить компьютеры 2) недостаточно качественно работают -- вычислительной мощности не хватает!
Так вот: если решение есть, но работает только на суперкластере -- это "решено", "хорошо" работает или нет?
Вот возьмите sentiment analysis. Уровень предсказания позитивности/негативности утверждения на тестовом множестве -- 87%. Это плохо или хорошо? А достаточно для практических применений?
Или, уровень синтаксического анализа в английском языке -- около 95.5-96% (на русском -- 85-90%). Это достаточно для трансформации языка в онтологию?
А без "предсказательной силы" современное распознавание речи вообще не работало бы. Потому что до половины букв именно предсказывается. Ударное "а" и "е" от безударных "о" и "и" не отличить без контекста (т.е. это уже предсказание!) а "б", "в" и "д" вообще почти не отличить друг от друга в словах. Но это мелочи по сравнению с тем, что для каждого слова есть десятки почти-омофонов, и только предсказание позволяет выбрать из них то, что сказал человек.

В общем, моё резюме: проблемы уже решены в теории, но решения ещё пока слишком непрактичны -- что всего лишь вопрос времени и вложенных денег в железо и в данные для обучения.
Но дискуссии по поводу "возможности решения" точно можно сворачивать.

>Кроме всего прочего, консенсуса ни в отношении того что искать, ни, тем более, в отношении того как искать.
А когда это инженерам и учёным для своих работ нужен был консенсус?
> Решения-то придуманы... и неплохо работают.
> Вот возьмите sentiment analysis...

Это только потому, что та постановка задачи S.A., которая сейчас в работе, очень сильно сужена по сравнению с общей. В общем случае S.A. должен определить структуру эмоции, а не только её знак. Поскольку эмоция имеет мотивообразующие свойства, то у неё есть структура -- конкретное действие, к которому побуждается субъект. И, хотя мы сейчас знаем, как там и что тикает, перейти к практическим экспериментам пока еще нельзя. Всё уприрается в уровень машинного обучения, который пока еще не достигнут, на сколько я знаю.

> В общем, моё резюме: проблемы уже решены в теории, но решения ещё пока слишком непрактичны -- что всего лишь вопрос времени и вложенных денег в железо и в данные для обучения.

Это очень легко может стать вопросом слишком большого времени :) Между "я в принципе понимаю как оно тикает", "я знаю, как это сделать" и "у меня заработало" -- пропасти. Хорошо, когда есть тот же torch и на нем запилить какой-нибудь neural-style -- это вопрос одного скрипта. Но если проблема не вписывается в инструменты, то очень легко можно надолго зарыться в очень сложном программировании.

> А когда это инженерам и учёным для своих работ нужен был консенсус?

Тогда, когда им нужно как-то начинать объединяться в группы, чтобы совметно работать над общей задачей. В ИИ уже давно один в поле -- не воин. А как объединяться, если нет хотя бы элементарного консенсуса? Сколько исследователей, стольк и когнитивных архитектур.

buriy

January 4 2017, 09:48:54 UTC 4 months ago Edited:  January 4 2017, 09:49:36 UTC



>> Вот возьмите sentiment analysis...

>Это только потому, что та постановка задачи S.A., которая сейчас в работе, очень сильно сужена по сравнению с общей. В общем случае S.A. должен определить структуру эмоции, а не только её знак.
>Поскольку эмоция имеет мотивообразующие свойства, то у неё есть структура -- конкретное действие, к которому побуждается субъект. И, хотя мы сейчас знаем, как там и что тикает, перейти к практическим экспериментам пока еще нельзя. Всё уприрается в уровень машинного обучения, который пока еще не достигнут, на сколько я знаю.

Та постановка S.A. успешно предсказывает цифру отзыва, которую поставит человек. Вот и всё.
А ваша расширенная формулировка -- это уже задача синтаксически-семантического анализа, для которой данные я тоже привёл. Для хорошего анализа, увы, в основном не хватает данных (человеку в мозг залезть пока не можем, описывать всё дорого, компьютеры сами учиться умеют плохо -- слишком много ошибок, что сводится).
Структуру эмоций при этом на построенных графах предложений выучить с помощью того же word2vec достаточно просто.

>> В общем, моё резюме: проблемы уже решены в теории, но решения ещё пока слишком непрактичны -- что всего лишь вопрос времени и вложенных денег в железо и в данные для обучения.

>Это очень легко может стать вопросом слишком большого времени :) Между "я в принципе понимаю как оно тикает", "я знаю, как это сделать" и "у меня заработало" -- пропасти. Хорошо, когда есть тот же torch и на нем запилить какой-нибудь neural-style -- это вопрос одного скрипта. Но если проблема не вписывается в инструменты, то очень легко можно надолго зарыться в очень сложном программировании.

Согласен полностью, время до практического решения может пройти любое.
В основном, время будет зависеть от разрешения вспомогательных проблем, о которых я говорил выше, ну и от характерного размера задачи, конечно.
1) железо
2) данные
3) петля обратной связи для данных
Кстати, в machine translation и speech recogniton петля обратной связи есть -- ведь это задачи маппинга известного на известное. А вот в синтаксически-семантическом анализе увы такой петли пока не нашли -- это маппинг известного на неизвестное, поэтому количество данных для обучения в тысячи раз меньше возможного.
Ну а в анализе эмоций характерный размер задачи намного ниже -- эмоций всего сотни (сравните с миллионом слов), в 10 измерений вполне впишутся.

>> А когда это инженерам и учёным для своих работ нужен был консенсус?

>Тогда, когда им нужно как-то начинать объединяться в группы, чтобы совметно работать над общей задачей. В ИИ уже давно один в поле -- не воин. А как объединяться, если нет хотя бы элементарного консенсуса? Сколько исследователей, стольк и когнитивных архитектур.

На мой взгляд, причина и следствие тут перевёрнуты: люди не хотят объединяться в коллективы, поэтому и не ищут консенсус.
Надо понимать, что упёртые проповедники самостоятельно изобретённых максим всегда будут. Большинство исследователей всё же принимают последние объединяющие веянья технологий, правда, в рамках нелюбви к работе и обучению в коллективах у них на это может уйти у них лет 5 или 25... Ну, сами себе злобные буратины!
> Та постановка S.A. успешно предсказывает цифру отзыва, которую поставит человек. Вот и всё.
> Структуру эмоций при этом на построенных графах предложений выучить с помощью того же word2vec достаточно просто.
> Ну а в анализе эмоций характерный размер задачи намного ниже -- эмоций всего сотни (сравните с миллионом слов), в 10 измерений вполне впишутся.

Терминологическая чехарда в психологии начинает служить нам очень плохую службу. Эмоции -- это внешнее проявление чувств. И то, что их "всего сотни" -- лишь проблема распознавания проявлений эмоций (у них есть своё кодирование, которое мы плохо знаем). Чувств же на несколько порядков больше, чем слов. Именно поэтому существует искусство как механизм выражения и передачи чувств.

Т.е. как только мы начинаем расширяем рабочий словарь проявлений эмоций, всё быстро становится слишком сложным. Не говоря уже о полной дешифровке message, которое "закодировано" в чувстве. Для этого нужно иметь модель чувств, а это уже трудная проблема сильного ИИ, т.е. здесь все далеко не так просто как обычно кажется практическим специалистам.

Не то, чтобы у нас сейчас не было моделей чувств вообще, просто они пока что все либо очень теоретические, либо слишком частные. Т.е. фокусирующиеся на каком-то отдельном аспекте проявления эмоций. В этом и состоит проблема "отсутствия консенсуса". Просто слишком много частных мнений, которые друг с другом не стыкуются. Вплоть до того, что правильное понимание определения эмоции встречается довольно редко по моему опыту :)

> На мой взгляд, причина и следствие тут перевёрнуты: люди не хотят объединяться в коллективы, поэтому и не ищут консенсус.

Именно тут, скорее, другое. ИИ прошел через два десятилетия почти полного забвения со стороны организованной науки. Вырасло аж несколько поколений исследователей, которые привыкли работать в одиночку и без какого-либо контроля (и у же тем более валидации результатов). Тут больше надежды на новые, подрастающие, поколения исследователей и инженеров, консенсус среди которых идет от эмпирики: строится вокруг инструментов и практических результатов. Лишь бы они в угаре энтузиазма не повторяли ошибки своих предшественников :)
>Чувств же на несколько порядков больше, чем слов.
Я правильно понимаю, что вы только что назвали все мыслеобразы или какую-то часть мыслеобразов словом "чувство"?
Да, правильно. И мысли -- это тоже частный вид чувства. Здесь пока еще есть острый дефицит терминологии, что как называть. Скажем так, есть некоторое промежуточное представление, "когнитивное кодирование", который на более высоком уровне само-отчета выходит как "внутрення речь", "мысли", "чувства" и интегральные "мыслеобразы". Лично мне проще всё называть чувствами, так как они в ряду манифестаций когнитивных кодов самые низкоуровневые. Когда появится общепринятая терминология, я с радостью на неё перейду.

Вопрос о когнитивном кодировании, как некотором общем промежуточном представлении, порождающем и итоге всё многообразие феноменальных само-отчетов субъекта, -- это переформулирование проблемы Сильного ИИ применительно к когнитивным архитектурам.

buriy

January 5 2017, 18:23:28 UTC 4 months ago Edited:  January 5 2017, 18:24:04 UTC

Всё очень просто с мыслеобразами и когнитивным кодированием.
В пространстве проекции мыслеобразов на текст -- кодируем последовательности из одного или более слов в виде сжимающего отображения.
p1 = ("Василий", "Петрович")
p2 = ("Я", "Пришёл", "Домой")
И так далее.
q[i] = code(p[i]) , такое, что similar(p[a], p[b]) => similar(q[a], q[b]) . Правда, сложно определить что такое similarity без мозга, поэтому пользуются суррогатами: близость перевода, или "рядом были те же слова", или "слова относятся к одной картинке", или "вместе с этими фразами поставили одну и ту же оценку на imdb" или ещё каким.
В Machine Translation как раз используется векторное кодирование слов + иерархия LSTM для подобного сжатия. Не идеально работает, конечно, но неплохое приближение.
Для визуальных проекций -- берётся распознавание образов и полученные в его рамках вектора с предпоследнего слоя нейросети.
И тому подобное. В общем, технология вполне работает, хоть и прожорливая и ненадёжная.
> Всё очень просто с мыслеобразами и когнитивным кодированием... Правда, сложно определить что такое similarity без мозга,...

На самом деле вот в этом "similarity" всё и кроется. Это очень сложная функция. И хотя у нас уже есть её предельная форма (normalized information distance) и её более-менее неплохие частные апроксимации (normalized compression distance), но эти аппоксимации пока не годятся для практических задач. Нужны те аппроксимации, которыми "пользуется" головной мозг. С этим пока плохо. Без них те грубые методы, которые в работе сейчас, на широком человеческом материале запустить не получится. Так когда-то уже было с распознаванием речи статистическими методами. Уперлись в стену, и всё. Сейчас, вроде как, ту стену пробили пробили, и тот же Youtube английские субтитры формирует вполне себе качественно. Но таких стен впереди еще много.

Я понимаю Ваш оптимизм по поводу наших возможностей, но хочу обратить внимание на следующий момент. Все современные практичные методы машинного обучения НЕ model-free (MFM). Всегда нужно в структуру той же сети или ансамбля/каскада несетевых методов вкладывать множество эвристик. MFM-ки известны, но они работают лишь на крошечных задачах и тому есть фундаментальная причина. Вплоть до того, что ML сейчас становится новым программированием, где языком программирования является язык описания "нейросетей".

Так вот, переход к интеллекту уровня человека потребует выявления и формализации довольно большого количества эвристик, в настоящее время скрытых в головном мозге человека. Этот факт давно известен в узких кругах, хотя не все, его разделяющие, согласны относительно минимального объема эвристик, что оставляет пространство для спекуляций. И есть два основных метода, как эти эвристики добыть: неврология (которая neuroscience, а не клиническая) и когнитивная психология. Обе изучают один и тот же феномен, но с разных "сторон". Неврология пытается разгадать проблему сознания (когнитивное кодирование), через "нейронное кодирование", а психология -- пытается его вывести из феноменальных самоотчетов субъекта. Я не буду здесь рассуждать о том, у какого направления лучше шансы, я просто сфокусирую Ваше внимание на том, чем когнитивисты отличаются от остальных и как правильно понимать их аргументы.

Есть такая человеческая способность -- внутриличностный интеллект. Грубо говоря, это способность к продуктивной интроспекции, которая у человека не врожденная и должна развиваться. Неразвитая интроспекция в лучшем случае выдает полный бред, в худшем -- false positive, и определить ложные картины от истинных часто можно лишь экспериментально. В какой-то мере ИИ и есть попытка человечества в целом востроить полную модель самомго себя.

Фундаментом внутриличностного интеллекта является процессная интроспекция или способность видеть, грубо говоря, алгоритмы за собственным феноменальным сознанием. Эту способность можно и нужно развивать, но у большинства людей она в зачаточной форме. Те же, кто так или иначе её развивают, имеют возможность "видеть" в себе гораздо больше, чем другие. И, в конечном итоге, воспроизводить видимое через артефакты. Эти артефакты мы называем когнитивными архитектурами.

Я хочу подчеркнуть, что то, что когнитивисты (и просто люди с развитой процессной интроспекцией) видят в себе, для других просто не существует. Вообще. В лучшем случае воспринимается через упрощенные суррогаты. Поэтому то, что когнитивисты пишут в своих блогах, для других людей представляется бессвязными отрвыками - в лучшем случае. Если не полным бредом. Потому, что необходимые для полной картины связующие звенья не существуют для читателя.

Поймите меня правильно. Это не укор Вам, а просто пояснение. Процессная интероспекция не является необходимым для жизни навыком. Она, действительно не всем нужна. Но вот когнитивистам нужна. Без неё здесь никак :)

Про model-free и особенно про необходимость этого model-free я не понял. Зачем вообще нужно это model-free?
>И есть два основных метода, как эти эвристики добыть: неврология (которая neuroscience, а не клиническая) и когнитивная психология.
Я не верю в достаточную продуктивность метода когнитивной психологии, как и в применение труда составителей словарей для обучения компьютера.
Делать экспертные системы как в 70е, методом копирования человеческих эвристик?
И вы хотите сказать, что ailev -- когнитивист? (Я бы скорее сказал, что он пытается заниматься синтезом всех подряд технологий, но непонятен он лишь исключительно потому, что мысли свои, основанные сугубо на своих мыслях и личном опыте, записывает в этом блоге конспективно и без какого-либо описания этого самого опыта)
Или вы говорите про кого-то ещё (но тогда почему в формате "пояснения")?
> Я не верю в достаточную продуктивность метода когнитивной психологии, как и в применение труда составителей словарей для обучения компьютера.

Здесь мне кажется, что Вы понимаете когнитивную психологию как-то очень узко. Не стоит её сводить лишь к когнитивным функциям (к памяти и прочему). Её основной постулат, что изучение мышления имеет знчение для объяснения поведения человека. :)

> Делать экспертные системы как в 70е, методом копирования человеческих эвристик?

Поясните, пожалуйста, в чем вопрос)

> И вы хотите сказать, что ailev -- когнитивист? (Я бы скорее сказал, что он пытается заниматься синтезом всех подряд технологий...

Ну, строго говоря, стоит об этом спросить его самого, к кому он себя относит. Но я хочу заметить, что поведение когнитивиста с точки зрения неосведомленного наблюдателя как раз и будет выглядеть как "синтез всех подряд технологий". Есть даже своя теория на эту тему. Если человек как-то занимается когнитивными архитектурами (которые всего лишь формальные модели мышления той или иной степени охвата), то я считаю его по умолчанию когнитивистом. В конце-концов, когнитивист -- это не запись в трудовой книжке.

> Или вы говорите про кого-то ещё (но тогда почему в формате "пояснения")?

Да, наверное нужно было подчеркнуть, что я говорил в первую очередь про себя :) Мне кажется, у нас с Вами есть разница в восприятии собственных когнитивных процессов, в результате чего Вы большую часть той сложности, что просто вижу я, не видите. Еще раз, это не упрек. Это -- пояснение :)

Вижу я когнитивные процессы, занимался некоторое время их оцифровкой, но, как и бездумное создание нейросетей, считаю тупиковым направлением.
Исключительно с точки зрения инженерии.
У одной технологии скорость конструирования очень низкая (тысячелетиями можно изучать и всё не изучить), у второй -- точность.
Вы с этими утверждениями согласны?

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago

Victor Smirnov

4 months ago

> Зачем вообще нужно это model-free?

Забыл ответить сразу. Model-free methods нужны для достижения уровня AGI в узком смысле этого термина. Так как узкие, т.е. основанные на некоторой модели, методы ИИ не могут в общем случае выходить за рамки этой модели. Все MFM, которые известны сейчас, либо очень медленные, либо не совсем model-free.

buriy

4 months ago

Victor Smirnov

4 months ago

buriy

4 months ago