?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Теоркатегорная композиционная распределённая семантика [06 Aug 2016|01:44am]
Я продолжаю утверждать, что ключ к созданию хоть как-то думающих информационных систем -- это гибридизация в них минимально двух (а лучше больше) механизмов: символистского (формального) и коннекционистского/распределённого (непрерывного). Поэтому я и интересуюсь работами, бьющими в эту точку смычки плохосовместимого. Последний раз я писал об этом буквально вчера (http://ailev.livejournal.com/1283541.html, "коннективистская весна онтологической инженерии"), а сегодня я обращу особое внимание на только слегка упомянутое в том посте направление Categorical Compositional Distributional Semantics.

В основе Categorical Compositional Distributional Semantics лежат положения:
-- distributional sematics использует векторные пространства для представления значений-концептов, которые определяются через контекст (distributed morphology). Увы, тут плохо с построением смысла высказываний, синтаксиса тут нет.
-- compositional semantics затем может использовать эти значения для построения (копмозиции) значения высказываний, для этого можно использовать структуру (синтаксис)
-- а теория категорий позволяет как-то скрестить этих ужа распределённости с ежом структурности.

На основе этих положений можно:
-- предлагать композиционную модель, наводя синтаксический порядок теоркатегорными методами -- "Compositional Distributional Model of Meaning", https://arxiv.org/abs/1003.4394, при этом дальше можно пользоваться диаграммными методами для работы со значениями
-- вводить квантовый аппарат (в том числе квантовую логику -- Birkhoff и Von Neumann предложили такую в 1936 году), чтобы работать со спутанностью (entailment) слов -- например, спутанностью в семантическом пространстве слов "собака" и "животное": "Graded Entailment for Compositional Distributional Semantics" http://arxiv.org/abs/1601.04908. Такое запутывание поднимает композиционность на уровень предложений, и дальше.
-- обобщение за пределы естественного языка, работа с выученными в распределённых представлениях паттернами общего вида (синтаксисом), значения которых потом можно объединять: "Interacting Conceptual Spaces", http://arxiv.org/abs/1608.01402.

Вот, например, как выглядит кусочек из последней работы (помним, что речь идёт о распределённых представлениях! Это не слова, а вполне себе вектора) -- кусочек диаграммной техники и кусочек вычислений ("рассуждения", вывода искомого значения) на базе сквозного примера из статьи:


UPDATE: и вот ещё -- Compositional Distributional Cognition, http://arxiv.org/abs/1608.03785 -- начинается там так: "A key question in artificial intelligence and cognition is how symbolic reasoning can be accomplished with distributional representations. [32] present a view of cognition called the Integrated Connectionist/Symbolic Architecture (ICS) that incorporates two levels of formal description: “the continuous, numerical lower-level description of the brain”, characterized by a connectionist network, and “the discrete, structural higher-level description of the mind”, characterized in terms of symbolic rules. ICS is a hybrid approach to the computational
modelling of the mind which uses tensor products of vectors to represent roles, from which symbolic structures may be built, and fillers, the objects to be manipulated". [32] -- это P. Smolensky and G. Legendre. The Harmonic Mind. MIT Press, 2005. Я последний раз ссылался на линию работ по развитию идей Smolensky в http://ailev.livejournal.com/1266905.html, но в данной работе предлагается другой путь: теоркатегорные улучшения.

А вот работа по линии отражения логики (философской логики) в рассуждениях на естественном языке: "Quantifier Scope in Categorical Compositional Distributional Semantics", http://arxiv.org/abs/1608.01404. Это продолжение серии работ, в которой моделируются различные логические структуры, которые можно вытащить из языка: отрицание, упорядочивание и т.д.

Литературы по этим ссылкам достаточно.

Искусственный интеллект -- это довольно сложное начинание. Конечно, эволюционным путём, когда пара сотен тысяч математиков и программистов во всём мире что-то делают каждый день изо всех сил, фронтир движется вперёд, и с немаленькой скоростью, но в целом прогресс ограничен способностью человеческих существ освоить разнообразие лучшего доступного матаппарата в данной узкой области работы с языком, неязыковым паттернированием ("узорами", "всё есть текст") и мышлением. Так, чтобы вползти в эту предметную область нужно хорошо знать:
-- линейную алгебру
-- матан
-- оптимизацию (в том числе нелинейную)
-- байесовскую статистику
-- собственно хитрые техники deep learning
-- теорию категорий и кучу всего к ней прилагающегося (типа той же квантовой логики)

А ещё нужно уметь программировать, ибо если этого не делать, то всё это так и останется красивой для очень немногих людей теорией, так и стухнет в архиве (например, Tensor Product Variable Binding and the Representation of Symbolic Structures in Connectionist Systems конца 80-х было теорией вплоть до прошлого года, пока её не оживили программисты из Microsoft Research: http://ailev.livejournal.com/1266905.html).

Разделить труд (один знает линейную алгебру, другой матан, ... шестой для них программирует, седьмой статьи пишет на английском) не получится. Разделить труд этот можно, но не слишком глубоко.

Если, конечно, лет через дцать не придёт в arxiv какой-нибудь интеллектуальный бот, не качнёт эти статьи, и не улучшит свои алгоритмы на основе полученных из этих статей знаний. Ибо к этому моменту он уже и математику хорошо выучит, и программировать научится.
44 comments|post comment

Осознанность против зеркальных нейронов [06 Aug 2016|07:38pm]
Пейперт и Ершов не были так уж едины, Пейперт считал, что Ершов неправильно вводит обучение алгоритмике в школе, ибо там всё опошлят -- "Основной аргумент Пейперта против введения этого предмета был то, что массовая институциализация информатики отсечет от от этого процесса учителей-предметников, а классно-урочная система сожрет это начинание. Вместо роста нового качества школьного учителя нарисуется еще одна когорта странных людей" (это мне напомнили старый разговор в 2008 году, http://ru-olpc.livejournal.com/15024.html). Памятуя, что со школьной информатикой происходило все эти годы, я лишний раз убеждаюсь, что девиз "мимо школы" в моих предложениях по выходу за пределы STEM-образования (http://ailev.livejournal.com/1283663.html) совершенно правильный.

Но этот тред 2008 года был поднят в дискуссии по совершенно другому поводу, не организационному, а вполне содержательному -- про то, что Пейперт утверждал, что ребёнок научается что-то делать только после того, как поймёт, как это делается: https://www.facebook.com/shperk/posts/10157204494495153

Там огромный тред со множеством реплик с классической развилкой:
-- учим ли мы людей осознанию того, чему мы их учим (осознание учителя, осознание ученика -- их нужно рассматривать отдельно, а я ещё утверждал про расщепление позиции учителя на предметника-методиста-учителя и отдельно тьютора)
-- или таки упираем на знание о зеркальных нейронах, и передачу традиции "из мозга в мозг" минуя сознание?

Вопрос непростой, на эту тему как раз blended learning: где сержантский метод (сержантом служит компьютер) всё-таки сочетается с каким-то общением с учителем, выполнением каких-то проектов и коллективной работой. Как это всё правильно наладить -- это да, непонятно. Императив полной автоматизации, перехода к Букварю для благородных девиц, Dynabook понятен, но мимо зеркальных нейронов и важности человека-образца для показа вмазывания конкретного предметного рассуждения в более широкий контекст -- вот это сдерживает полную автоматизацию, даже если разобраться с игрофикацией контента (сержантщина обычно относительно легко игрофицируется).

Ещё я там высказал критику систем типа knewton, которые живут на статистике по старым учебным курсам.Если в систему воткнуть кусок нового материала, который будет лучше-проще-быстрее-тому_что_надо учить, то система будет его к нулю сводить как чужеродный элемент. Ну, или ждать придётся вечность, пока оптимальный маршрут пройдёт через этот новый материал. Это как с новыми онтологиями: если придумана одним человеком хорошая теория, то пока она не разошлась по миру -- она не онтология, а "личное мнение", но "личные мнения" в отличие от онтологий не будут расходиться по миру и самоподдерживаться в обороте. Так что позволять системе гомеостатически по обратным экспериментальным связям в режиме машинного обучения находить быстрые образовательные тропинки -- это хорошо, но вот как добавлять абсолютно инженерные куски существенной оптимизации, это непонятно.

Я высказал в той дискуссии и много разных замечаний, не буду все их сюда копировать. Но ещё и дополнительно скажу пару моментов:

Я, безусловно, за примат осознанности, при всём понимании трудности её достижения (в бессознанке учить в разы легче, и даже результаты хорошие будут -- но я бы ввёл понятие learning debt по аналогии с technical debt, https://en.wikipedia.org/wiki/Technical_debt, ибо недостаток осознанности всё одно вылезет в какой-то момент).

Если что-то не получается преподавать, то это чаще всего означает недостаток понимания (осознания того, что происходит в головах спецов-предметников, головах учеников, непонимания того, как найденные проблемы перевести на язык задач). Так, чтобы школьную алгоритмику перевести из 7 класса в дошкольные группы (не просто чему-то научить, а сделать стык к полноценному курсу алгоритмики! и убедиться, что времени на обучение уходит немного! и что научаются не только самые талантливые и одарённые!) у группы Аттик ушло порядка 20 лет. Сейчас они потихоньку думают о том, как перевести на уровень совсем-совсем начальной школы операции с массивами в циклах (а базируются они сейчас тут: https://www.niisi.ru/otd04.htm). Предметник должен препарировать предмет в части его онтологии (то есть выписать, что именно нужно понимать) и затем переписать эту онтологию в терминах заданий-упражнений для научения нейронной сетки ученика. Предметник и методист разные люди -- старший научный сотрудник-предметник (ибо академики административны уже насквозь, им не верим) вытаскивает необходимую онтологию предмета в явном виде, а методист (желательно с предметником!) уже оформляет этот кусок как набор заданий, переводя статику в динамику конструктивизма, в мощение ступенек понимания. Если эта работа по выделению элементов предметного знания не будет сделана, если речь идёт не о предмете, а о копировании "опыта мастера", то ни о какой осознанности, ни о каком понимании методиста-учителя-ученика не может быть и речи, это будет образование уровня ПТУ в лучшем случае, оно не будет фундаментальным. Я тут не про обязательность вербализации говорю, я тут говорю о самой возможности ученика рефлексивно рассказать, что же он и как делает, чему именно научился, возможности продумать собственные действия (осознанность!), обсудить их с кем-то (адекватность, вписанность в окружающий профессиональный мир). Вербализация для этого нужна, конечно, но там и картинки могут быть, и движения, и что угодно -- акцент на осознанности и рациональности, а не на речи.

Monkey see, monkey do -- это очень, очень хорошо. Но нужно понимать, что это не конец обучения. Императив в осознанности того, что же там увидено, и что там сделано. Ибо не осознал -- не смог потом улучшить или даже отказаться от выученного. Когда у тебя нет выбора в силу метода обучения -- это плохо. Одно дело автоматизм в принципе осознанного действия, совсем другое -- автоматизм неосознанного.

UPDATE: сочетание необходимости учиться по книжке и тренироваться с задачником + учиться у людей и задействовать свои зеркальные нейроны (или аналогичные им механизмы работы нейронной сетки в мозгу) как раз и привело к концепции blended learning. Вот: https://en.wikipedia.org/wiki/Blended_learning

В этой концепции у учеников есть отдельное время работы с тренажёрами (обычно компьютерными) в самостоятельной работе, и отдельное время работы с учителем и в группе других учеников. Тем самым явно задействуются разные механизмы обучения, ибо одного механизма не хватает.

UPDATE: Павел Гаврилов заметил, что в абзаце из учебника по кинологии, написанном специалистом по ВНД Еленой Мычко указано: "Подчеркнём одну особенность обучения. В принципе, скорость выработки простого условного рефлекса у всех позвоночных животных (от золотой рыбки до шимпанзе) не различается и рефлекс закрепляется после 12-14 предъявлений. Однако те навыки, которые мы вырабатываем у собак, достаточно сложны и требуют понимания смысла поставленной задачи, т.е. применения рассудочной деятельности. Когда смысл ясен и результат действия собаке приятен, навык вырабатывается практически мгновенно. Если же собака не понимает задачи, на выработку навыка требуются те самые классические 12-14 предъявлений. Таким образом, игнорирование важности использования рассудочной деятельности при обучении сложным навыкам является большой ошибкой."

Уж не знаю, есть ли у собак рассудочная деятельность, но для людей-учеников неплохо бы знать, какие именно навыки у них вырабатываются -- и хорошо бы, чтобы про эти навыки знала и обучающая сторона тоже, передавала бы не просто "опыт", а хорошо структурированное знание о своём мышлении.

Я пытаюсь ровно это делать сейчас с системным мышлением, выделять элементы такого мышления (http://ailev.livejournal.com/1278600.html, а в начале поста примерно такой же подход цитируется у гомельской школы обучения алгоритмике).

Инструментарий предметника-методиста-учителя -- важен, значит нужно иметь соответствующую практику учебных Миров, заданий (а не только объяснялок!!!) и тестов к заданиям. Нужна соответствующая дисциплина, применимая к самым разным таким Мирам и общей Вселенной этих миров, и технология (когда я писал про Студии -- это и было у меня на уме: http://ailev.livejournal.com/1280626.html).

А ещё в фейсбуке рядом прошло бурное обсуждение по поводу позиции тьютора: https://www.facebook.com/andrew.komissarov.7/posts/10208692887913955 -- там основной вопрос в комментах был по поводу "индивидуальной образовательной траектории" или "индивидуального образовательного маршрута". Типа как "по траектории летишь, куда тебя кинули", а "по маршруту идёшь сам". Но есть и ещё одна точка зрения, которая мне больше нравится: маршрут должен строиться динамически, а не впрок. То есть уже пройденный маршрут (траектория) известен, а будущий он в любой момент может меняться, он не догма, ты не летишь в заранее назначенную точку, преодолевая препятствия. Хотя да, на тьютора и ученика это адская нагрузка, нельзя спланироваться один раз на десять лет (например, в первом классе школы нацелиться на выпуск и сдачу ЕГЭ), и потом честно эти десять лет трубить по заданному маршруту. Конечно, машинный интеллект и тут должен помогать, все эти "индивидуальные виртуальные ассистенты" и сетевые сервисы ровно для этого и должны существовать. Но в принципе особо долгосрочного планирования быть не должно, напомню свой пост "Против целей": http://ailev.livejournal.com/1254147.html.

UPDATE: ещё дискуссии в https://www.facebook.com/ailevenchuk/posts/10207735457198476 и https://www.facebook.com/luksha/posts/10153579693916784
13 comments|post comment

Олимпиады и жизнь [06 Aug 2016|10:57pm]
В статье "Не та олимпиада" (https://um.plus/2016/08/04/ne-ta-olimpiada/) приводится интересная статистика про международную математическую олмпиаду (ММО):
Всего в базе данных ММО (университет Любляны) содержатся сведения о 16.829 участниках.
...
В математике есть две высшие международные премии, аналог Нобелевских (которые по известному капризу Нобеля почему-то математикам не присуждают). Премия Абеля и медаль Филдса. Но премию Абеля дают за достижения всей жизни, ее лауреаты – люди немолодые, так что по возрасту участвовать в олимпиадах не могли бы (кстати, среди 16 лауреатов премии Абеля двое бывших советских – академик РАН Синай, профессор Принстона и иностранный член РАН Громов, гражданин Франции, работает в Институте высших научных исследований в пригороде Парижа).

А вот Филдса присуждают ученым моложе 35 лет раз в 4 года на Международных математических конгрессах. Так что лауреаты начиная с 1978 года по возрасту вполне могли участвовать в олимпиадах. Всего таких ученых 37. Так вот 9 из них получили золотые медали международных олимпиад (включая, понятно, упомянутого Теренса Тао), двое – серебряные, один – бронзовую, двое были участниками, не заработавшими премию. 23 филдсовских математика на Олимпиадах (во всяком случае международных) не были.

Мне кажется, что это – довольно показательные цифры. Больше трети будущих крупных ученых участвовало в ММО. Особенно характерно, что если уж «филдсовский математик» попадет на ММО, то огребет, скорее всего, золотую медаль (64%), а вообще без медали остались всего 14%. То есть все-таки настоящие творческие способности как-то релевантны задачам, которые дают на ММО.
А вот с олимпиадой по программированию кто-то такие подсчёты делал? Мне лично кажется, что эта олимпиада никакого отношения не имеет к computer science, она кодирование тренирует, то есть это олимпиада WordSkills, профтехобразования, "программистов от сохи". Но вдруг? Вдруг олимпиады по программированию действительно дают нам лауреатов премии Тьюринга, лауреатов приза Дейкстры и прочих из https://en.wikipedia.org/wiki/Category:Computer_science_awards (с учётом подходящести по возрасту)? У кого-то есть доступ к статистике? Уж больно любопытно понимать про связь олимпиад и жизни.

По физике, кстати, это было бы тоже интересно. И по биологии и химии до кучи.
5 comments|post comment

navigation
[ viewing | August 6th, 2016 ]
[ go | previous day|next day ]