Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Коннективистская весна онтологической инженерии

Идея ручного построения онтологий оказалась в реализации запредельно трудоёмкой -- поэтому в "ручной" онтологической инженерии наступила стагнация, "зима компьютерных онтологий" стала достойной частью "зимы искусственного интеллекта". Если не понимать, что искусственный интеллект вошёл в своё лето не по символистской логической (в том числе символистской логической computational ontology) дороге, а через прорубленное в это лето коннекционистское окно deep learning, то можно ждать онтологического лета до морковкиного заговения. Но если понимать, то онтологическая весна уже пришла, а скоро уж будет и лето.

Коннективистская онтологическая инженерия придёт со стороны лингвистики, и ведущим словом там ещё некоторое время будет не "онтология", а "семантика". Коннективисты обнаружили embeddings и крепко занялись ими в плане выражения семантики -- при этом понимая наличие жёстких возражений (вот тут собраны возражения Nando de Freitas, главным образом по использованию предварительно вычисленных embeddings -- построение и работа с коннекционистскими standalone онтологическими описаниями необязательно будет повторять формы работы с классическими символистскими онтологическими описаниями и тем самым наследовать проблемы этих онтологий, впрочем, как и наследовать и их достоинства: http://ailev.livejournal.com/1240509.html).

Но возражения возражениями, а исследования по линии коннекционистских словарей-тезаурусов-онтологий интенсифицируются на глазах:
-- сначала они занимаются значениями отдельных слов в "векторных пространствах" aka semantic space, conceptual space и прочими вариантами "геометрий значений" -- даже книжка есть такая, https://mitpress.mit.edu/books/geometry-meaning,
-- потом приходят к выводу, что нужно заниматься значениями как таковыми (которые привязываются иногда к словам, иногда к частям слов, иногда к словосочетаниям, и дальше по идее distributional semantics -- фразам, предложениям, документам),
-- потом (сильно потом!) начинает появляться идея о моделировании отношений (это они и называют онтологиями -- но ведь это только "как говорят о мире"),
-- и только потом-потом идея сначала о мультимодальной (аудио, видео, тексты) семантике -- http://acl2016.org/index.php?article_id=59,
-- и только совсем потом о grounding -- привязывания этого всего "лингвистического "как говорят о мире" к реалиям окружающего мира, то есть появляется классическая онтология по линии ответа на вопрос "что есть в мире" (а не "что говорят о том, что есть в мире", отвязка от лингвистики).

Вот хороший обзор-тьюториал на эту тему: "Semantic Representations of Word Senses and Concepts" -- http://wwwusers.di.uniroma1.it/~collados/Slides_ACL16Tutorial_SemanticRepresentation.pdf (это 258 слайдов, а компактное описание и литература тут: http://arxiv.org/abs/1608.00841, и даже есть страничка самого тьюториала с совсем уж компактным изложением: http://acl2016.org/index.php?article_id=58).

В этом обзоре зацеплено кусочком довольно много интересных направлений, каждое из которых само по себе чуть ли не маленькая предметная область. Вот, например, семантика многословных выражений (где сразу напоминается, что "сыграть в ящик" -- это помереть, т.е. рассчитывать на только композиционную семантику нельзя), недаром по этому поводу проводится в этом году уже 12й международный семинар -- http://multiword.sourceforge.net/PHITE.php?sitesig=CONF&page=CONF_06_MWE_2016___lb__ACL__rb__

Удивительно, но в обзоре "Semantic Representations..." не затрагивается работа со смыслом частей слов, так что нужно читать дополнительные тексты. Например, типовой текст такого рода "Morphological Priors for Probabilistic Neural Word Embeddings", где разбираются со словами, для которых просто невозможно набрать большую статистику, например sesquipedalianism, и с переменным успехом пытаются смешать композиционную и распределённую семантику, нейросети и байесовские оценки -- http://arxiv.org/abs/1608.01056. Идите по ссылке и смотрите тамошнюю литературу, там есть и ссылки на работу с семантикой даже на символьном и фонемном уровне, а не уровне частей слов.

И эти работы, связывающие knowledge graphs и глубокие нейросети, множатся и множатся. Например, три дня назад вышла http://arxiv.org/abs/1608.00318 -- we propose a Neural Knowledge Language Model (NKLM) which combines symbolic knowledge provided by knowledge graphs with RNN language models. At each time step, the model predicts a fact on which the observed word is supposed to be based. Then, a word is either generated from the vocabulary or copied from the knowledge graph. We train and test the model on a new dataset, WikiFacts. In experiments, we show that the NKLM significantly improves the perplexity while generating a much smaller number of unknown words. In addition, we demonstrate that the sampled descriptions include named entities which were used to be the unknown words in RNN language models.

Semantic Spaces -- это очень, очень горячая тема. Вот свежие (11 июня 2016) Proceedings of the 2016 Workshop on Semantic Spaces at the Intersection of NLP, Physics and Cognitive Science -- http://eptcs.web.cse.unsw.edu.au/content.cgi?SLPCS2016. Exploiting the common ground provided by the concept of a vector space, the workshop brought together researchers working at the intersection of Natural Language Processing (NLP), cognitive science, and physics, offering them an appropriate forum for presenting their uniquely motivated work and ideas. The interplay between these three disciplines inspired theoretically motivated approaches to the understanding of how word meanings interact with each other in sentences and discourse, how diagrammatic reasoning depicts and simplifies this interaction, how language models are determined by input from the world, and how word and sentence meanings interact logically. Конечно, вместе с физиками сюда приходит и теория категорий, идёт формирование поддисциплины Categorical Compositional Distributional Semantics, в этом семинаре было несколько работ на эту тему. Ну, и дальше не обходится без традиционного для коннективистских представлений выхода на квантовые алгоритмы: We propose a new application of quantum computing to the field of natural language processing. Ongoing work in this field attempts to incorporate grammatical structure into algorithms that compute meaning -- http://eptcs.web.cse.unsw.edu.au/paper.cgi?SLPCS2016.8

Есть и другие околофизические представления, тот же Yan LeCun не устаёт напоминать о free lunch theorem и поэтому недостаточность работы только в одного вида представлениях, а хоть и коннективистских, а хоть и методами deep learning -- https://www.quora.com/What-are-the-limits-of-deep-learning-2. Он напоминает, что прогресс лежит на линии комбинирования разных представлений, например, графовые energy-based models and structured predictions on top of neural nets (or other models) -- http://web.stanford.edu/class/cs379c/archive/2012/suggested_reading_list/documents/LeCunetal06.pdf (это аж 2006 год, тем не менее у Yan LeCun уже были примеры, когда его древние алгоритмы на современной элементной базе работали более чем хорошо). Напомню ещё работы по symbolic variables binding, где на коннекционистских структурах моделируется логические представления, последний раз я собирал ссылки тут: http://ailev.livejournal.com/1266905.html

Пунктиром в работе с семантическими пространствами всё время идёт физика, так и вспоминается, что "метафизика" (с которой неразрывно связано само понятие онтологии) именно что мета-физика. Если локальные представления, символистские, как-то сразу абстрагированы от физического мира, они ведут себя по совсем другим правилам, то коннеционистские представления оказываются в разы физичнее -- и для их понимания используется тот же подход и та же математика, которые были приняты в физике (я год назад уже об этом писал в "физике процессов эволюции и deep learning" -- http://ailev.livejournal.com/1197148.html).

Ещё одна интересная тема -- это выход от "объективной модели мира", застывшей метафизики к деятельностной, к выражению интента, целей, намерений, обоснований и т.д.. И вовсе необязательно речь идёт о диалоге или называнию словами действий в фильмах. Так, Dominic Widdows на семинаре http://arxiv.org/abs/1608.01018 говорит о том, что semantic spaces can be used to represent goals and objectives, something that has been markedly lacking in formal models for language. "Drawing words from a distribution of topics in accordance with grammatical structure" does not describe why people write documents, and a quick glance at a few news articles shows that part of the reason is "to convince the reader of something". The second part of the talk will explore the suggestion that goals and objectives can be expressed in the same model as words and documents, potentially leading to a way of understanding of rhetoric and persuasion in terms of semantic spaces.

Несколько лет в связи с коннеционистскими представлениями появилась и тема argumentation mining (не нужно говорить, как это связано с темой инженерных обоснований? Поглядите ссылочки в : http://ailev.livejournal.com/811715.html) -- http://argmining2016.arg.tech/. Argument mining (also, `argumentation mining’) is a relatively new challenge in corpus-based discourse analysis that involves automatically identifying argumentative structures within discourse, e.g., the premises, conclusion, and argumentation scheme of each argument, as well as argument-subargument and argument-counterargument relationships between pairs of arguments in the document. To date, researchers have investigated methods for argument mining in areas such as legal documents , on-line debates, product reviews, academic literature, user comments on proposed regulations, newspaper articles and court cases, as well as in dialogical domains. -- с инженерными обоснованиями, понятно, в этом списке пока слабО, но это точно появится в ближайшие годы.

Вот этот последний поворот мне особенно близок к сердцу, появление учёта intent -- это переход от "объективных" систем к нормальному современному системному рассмотрению. Я уже писал, что коннекционизм проблематизирует системный подход (http://ailev.livejournal.com/1252230.html), но он же помогает его и укреплять. Системный же подход 2.0, со стейкхолдерами и их intent, их concerns (даже если это прихватывается пока только через лингвистику) поможет самому коннекционизму выйти за пределы "объективной дисциплины STEM" (http://ailev.livejournal.com/1283663.html), действительно преодолеть ограничения математики-физики и выйти в более широкое пространство человеческого и, конечно, нечеловеческого мышления.
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments