?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Компактная математика для описания всего. Чего всего? А всего всего. [30 Dec 2015|02:28am]
Вот тут интересное обсуждение про компактификацию разного знания с использованием математического знания: http://sober-space.livejournal.com/125193.html (там главным образом теоркатегорный заход, поэтому слово "доктрина" и прочие странные слова нужно читать по теоркатегорному, а не по-философски -- вы предупреждены!).

Вытащу из того обсуждения свой коммент (всё одно хотел пост на эту тему писать, поэтому все ссылки под рукой оказались):

Классический заход на "символьные вычисления aka логика в распределённых представлениях aka линейной алгебре" http://verbs.colorado.edu/~llbecker/papers/Smolensky-TensorProductVariableBinding.pdf, и попытки выяснить, почему семантические пространства оказываются вдруг линейными -- http://research.microsoft.com/apps/video/default.aspx?id=258666&r=1 (и там на странице есть ссылка на скачать слайды с формулами).

Я встречал прямые указания на то, что всё это про одно и то же: логика, квантовая механика и неуловимость естественного языка -- они опираются на одну и ту же математику. Например, вот этот уже не слишком свежий текст (2007г.): This paper has been submitted to a symposium on Quantum Mechanics (QM) and AI, so what is the connection to QM? The mathematical theory of QM is based on Hilbert spaces; the objects in which we have situated word meanings are Hilbert spaces. The operator we have proposed for combining word meanings is the tensor product; composite systems in QM, formed by interacting quantum-mechanical systems, are represented using tensor products (Hughes 1989). This link suggests that work in NLP which uses vector spaces may benefit from borrowing more from the well-developed mathematical theory of QM.

Other possible links exist. NLP is currently dominated by probabilistic models. How to integrate probabilistic models with the distributional models described here is another interesting question. The mathematical theory of QM, as well as being based on Hilbert spaces, is a probabilistic theory. (Widdows 2004) suggests a link between quantum logic and the lattices he uses to model negation. (van Rijsbergen 2004) has proposed a quantum mechanical theory for modelling relevance in IR. Our proposal is that the interaction of QM and language is a fruitful area of research for AI.

Это из http://www.cl.cam.ac.uk/~sc609/pubs/aaai07.pdf

Основные исследования по этому стыку статистики, линейной алгебры и выражения в них сущностей реального мира происходят сейчас вокруг deep learning, там какие-то чудеса чуть ли не ежедневно в результатах. Вот краткий намёк на state of the art в понимании естественного языка -- https://drive.google.com/file/d/0B16RwCMQqrtdRVotWlQ3T2ZXTmM/view (и там нужно обращать внимание на language-agnostic vector space и даже -- ужас! -- modality-agnostic vector space, то есть какое-то вселенское пространство смыслов, общее не только для языков, но и для картинок, звуков и всех остальных воспринимаемых вещей -- конечно, в том числе и приборно воспринимаемых. Например, прочесть информацию с пары десятков приборов и перевести её на какой-то выбранный язык, а хоть тех же матриц с векторами!).

Отдельно замечание Осману: я хотел написать Cho письмо, не занимается ли уже кто переводом между языками программирования (напомню, что по-английски там слово используется одно и то же -- translation). При этом ведь тоже должно появиться "общее language-agnostic пространство значений" и все рассуждения о побуквенности, больших контекстах и даже modality-agnostic ;-)

И ссылки на то, что уже заметили в работах по распределённым представлениям (word vectors) связь с теорией категорий, я давал тут рядом, но повторю до кучи: типа http://arxiv.org/abs/1401.5980 или http://mlg.eng.cam.ac.uk/yarin/PDFs/TMS_talk_20150222.pdf

Происходящее сейчас в этой области deep learning и смежных с ней меня завораживает. Я уже несколько раз писал, что мне это напоминает происходящее сто лет назад в физике в связи с появлением квантовой физики и теории относительности. Тут примерно такого же интеллектуального масштаба явление, и всё по экспоненте развивается уже года три (с 2012 года, когда пошли реальные результаты в распознавании речи, распознавании изображений, повтор за неделю машинного счёта достижений десятков лет лабораторий классической компьютерной лингвистики -- одним алгоритмом для всех языков!, и т.д.).

UPDATE: много интересных замечаний (тема матроидов, эргодических систем и т.д.) в дискуссии к этому посту в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10206171397897971
35 comments|post comment

Об метафизику и системную аналитику [30 Dec 2015|02:44am]
Ввязался в пару дискуссий в фейсбуке:
-- об метафизику и обучение философии: https://www.facebook.com/elashkina/posts/1074294972592330 (зачин Анны Елашкиной там восхитительный: "Идет зачет. Студенты жмутся к задним партам, шушукаются. Призываю одного из не особо успешных к себе на первую парту. Многого не прошу, лишь повторить "первое отношения бытия к мышлению", метафизическое, то есть. Молчит. Прошу: ну вспомни какого-нибудь метафизика из пройденных. Не помнит. Говорю: ну сами придумайте, какую-нибудь метафизическую картину мира, да любую, без разницы. Студент: "ЧТО, ПРЯМО ПРИ ВАС ЧТО ЛИ??!"". Там довольно много разных моих комментов и ссылок на тексты по метафизике и онтологии.
-- об системную аналитику https://www.facebook.com/elashkina/posts/944288262305061 (сорри, там какое-то ограничение на просмотр -- не всем показывает). Процитирую свой главный коммент оттуда, речь у топикстартера идёт о том, как расширить преподавание системного анализа с примеров корпоративных информационных систем на что-то побольше, типа проблем Римского клуба и моделирования мировой экономики:
Ага, ага. Курс анализа. Ибо синтеза на уровне задач размером с землю принципиально не предусмотрено )))

Только что прошёл в ленте анекдот:
— Петька, сможешь разобрать машину до последнего винтика?
— Конечно, Василий Иваныч!
— А потом опять собрать?
— Нет, Василий Иваныч, я же аналитик.

Вот и задачки размером с Землю -- особенно в исполнении таких мальтузианцев-социалистов как Римский клуб, допотопную системную динамику Форрестера и прочий аналитический антиквариат.

Системный анализ вне деятельностной перспективы, когда не пойми кто каким синтезом заниматься будет -- это пустое. Так что студента сначала нужно приучить, что пока нет стейкхолдера и непонятно, кто что и зачем делает, не стоит браться за анализ. Выход на уровень всея Земли как раз хороший пример таких задач, открываются невиданные интеллектуальные соблазны, и нужна немаленькая рефлексия, чтобы им не поддаваться. Вот Анна правильно говорит, рефлексии тут и нужно учить в первую голову -- чтобы думали, о чём они думают и подбирали для этого адекватный метод.

Если хотите задачи масштабней КИС, дайте им киберфизические системы для начала. И студенты утонут, тут же. Пусть для начала разберут абсолютно системный документ http://www.cpspwg.org/Portals/3/docs/CPS%20PWG%20Draft%20Framework%20for%20Cyber-Physical%20Systems%20Release%200.8%20September%202015.pdf

Конец года, дедлайн пройден, можно чуть-чуть и поболтать! ;-)
3 comments|post comment

navigation
[ viewing | December 30th, 2015 ]
[ go | previous day|next day ]