Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Новые непрерывные онтологии

У онтологов часто говорят про недостижимость "универсальной онтологии", при этом речь в том числе и о foundational ontology: том языке, на котором описываются онтологии. Сам онтологический язык -- это тоже онтология, вы выразить можете то, что есть в языке, но не более того.

Но стремление иметь универсальное представление, выстраданное в опыте универсальное знание о мире, онтологическое основания для "представления всего", "общевыразительный язык" -- оно неизбывно. В принципе, ничего плохого в этом нет. При интерпретации ситуаций хорошо бы знать priors, всякие онтологии тут неплохое начало. Вот это замечание, что онтологии представляют собой начальную точку для интерпретаций, экономя время для вычислений актуальных вероятностей -- оно примиряет существование вечной метафизики с замечанием о сугубой динамичности мира и представлений о мире.

Напомню: Ed Grefenstette (http://egrefen.com/) argument " ... embeddings are just weights of a linear transform from the one-hot input into vectors used by the network's internal dynamics. Meaning and interpretation, if there is such things, are present in the state of the network, rather than solely in the embeddings, and it makes as much sense to seek to interpret the weights that constitute embeddings as it does to seek to interpret any other weight in the network. Pre-training embeddings and using them in another network, under this view, is even more explicitly just a form of transfer learning, in that we are initialising the weights of part of a task-specific network, and perhaps freezing them, with information obtained from another task. It's not a bad strategy, but I think people focus too much on this very specific form of transfer learning rather than, more generally, on other options there are out there (or yet to be discovered) to help us deal with data paucity, and to best share information across similar tasks" (it was cited by Nando de Freitas here: https://www.reddit.com/r/MachineLearning/comments/3y4zai/ama_nando_de_freitas/).

При этом само "семантическое пространство" -- это foundational ontology, оно постулируется существующим.

Вот свеженькая работа, которая предлагает искать универсальные предварительно вычисленные репрезентации в изображениях, и выражать эти репрезентации в нейронных сетях. Та же foundationl ontology, только вид в глубокий профиль, и чуток другой, чём с embeddings: https://arxiv.org/abs/1701.07275 Universal representations:The missing link between faces, text, planktons, and cat breeds. -- With the advent of large labelled datasets and high-capacity models, the performance of machine vision systems has been improving rapidly. However, the technology has still major limitations, starting from the fact that different vision problems are still solved by different models, trained from scratch or fine-tuned on the target data. The human visual system, in stark contrast, learns a universal representation for vision in the early life of an individual. This representation works well for an enormous variety of vision problems, with little or no change, with the major advantage of requiring little training data to solve any of them.

Новые онтологии:
-- не выражаются на языке логики, они не дискретны, а непрерывны (помним про булеву логику, которая является частным случаем байесовских вероятностных построений: пункт 1, "логика науки" в http://ailev.livejournal.com/1311261.html)
-- даны в распределённом (коннекционистском), а не символьном представлении
-- понимаются как экономящая начальные рассуждения эвристика, "печка, от которой пляшут", priors. Рассуждения (вычисление актуальных вероятностей) вполне могут привести к признанию того, что мир устроен по-другому.
-- как-то выучиваются, а не моделируются-программируются на каком-то языке. Можно дальше обсуждать, насколько supervised, semi-supervised или unsupervised -- учитывая, что учитель оказывается тоже замаскированной онтологией и "совсем без учителя" не бывает, алгоритм обучения уже задаёт онтологические ограничения, уже учит чему-то!

UPDATE:
В августе я написал про "выучить онтологию, а потом творить с её помощью" -- http://ailev.livejournal.com/1289718.html, где разбирал разницу между "придумкой" кого-то одного очень умного и shared (folk) онтологией в приложении к коннективистским priors. А в октябре вышел программный текст про онтологии и бибинарную модель мышления: http://ailev.livejournal.com/1305176.html и потом я обновил позицию по онтологиям в интеграции/федерировании данных жизненного цикла с учётом этой бибинарной модели мышления -- http://ailev.livejournal.com/1307116.html. Боюсь, что без чтения этих текстов текущий пост непонятен: он просто добавляет "визуальную" foundational ontology, ибо не всё онтологическое в мире выразимо именно словами.

Обсуждение в фейсбуке: https://www.facebook.com/ailevenchuk/posts/10209250199226080
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 18 comments