?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

AI таки сдаёт российский ЕГЭ в этом году! [14 Sep 2019|02:18pm]
Моё предложение провести конкурс AI по сдаче экзаменов ЕГЭ (я давал его в апреле на одном из совещаний, подробности см. в https://ailev.livejournal.com/1468166.html) таки реализовано, хотя и не UpGreat, а Сбербанком -- https://contest.ai-journey.ru/ru/competition. 4 сентября стартовали, через 43 дня совревнование закончится, вот тут рейтинг участников, https://contest.ai-journey.ru/ru/leaderboard, там всё уже более чем бодро. Всё, как я и предлагал, включая проверку сочинения по тем же правилам, что и в реальном ЕГЭ -- https://4ege.ru/russkiy/56964-kriterii-ocenivaniya-sochineniya-v-ege-2019.html. И даже перевод результатов в знаменитые "сто баллов" тоже будет как в ЕГЭ -- https://4ege.ru/novosti-ege/4023-shkala-perevoda-ballov-ege.html. Моя идея была -- проверять AI на интеллект ровно так, как проверяют людей, причём неизбежная дискуссия покажет с ещё большей очевидностью, что все эти "проверки на интеллект" не работают -- ни для людей, ни для роботов.

При этом в США такой экзамен проводится по тесту науки (мультипредметный тест), https://leaderboard.allenai.org/anli/submissions/about -- люди по нему получают 92%. Even in 2016, the best AI system achieved merely 59.3% on an 8th Grade science exam challenge. This paper reports unprecedented success on the Grade 8 New York Regents Science Exam, where for the first time a system scores more than 90% on the exam's non-diagram, multiple choice (NDMC) questions. In addition, our Aristo system, building upon the success of recent language models, exceeded 83% on the corresponding Grade 12 Science Exam NDMC questions. The results, on unseen test questions, are robust across different test years and different variations of this kind of test. They demonstrate that modern NLP methods can result in mastery on this task. While not a full solution to general question-answering (the questions are multiple choice, and the domain is restricted to 8th Grade science), it represents a significant milestone for the field. Это всё те самые языковые модели, подхаканный BERT (RoBerta в данном случае, подробности решения https://arxiv.org/abs/1909.01958), картинка с результатом для теста 8 класса:


Современные языковые модели, конечно, содержат не только модели именно языка. Они содержат и модели мира, конечно: отражают не только то, как описывают мир текстами, но и существенные черты самого мира -- что описывается текстами.

Дальнейший прогресс, конечно, будет по линии гибридных вычислений: knowledge graphs aka семантические сети aka символический искусственный интеллект в сочетании с нейронными сетями. Вот небольшой обзорчик knowledge graphs на конференции Association for Computational Linguistics ACL2019 (30 докладов из 660 -- почти 5%, это немало): https://medium.com/@mgalkin/knowledge-graphs-in-natural-language-processing-acl-2019-7a14eb20fce8. Но уже после этого обзора появились интересные работы, типа https://arxiv.org/abs/1908.07141, LogicENN: A Neural Based Knowledge Graphs Embedding Model with Logical Rules. We prove that LogicENN can learn every ground truth of encoded rules in a knowledge graph. To the best of our knowledge, this has not been proved so far for the neural based family of embedding models. Moreover, we derive formulae for the inclusion of various rules, including (anti-)symmetric, inverse, irreflexive and transitive, implication, composition, equivalence and negation. Our formulation allows to avoid grounding for implication and equivalence relations. Our experiments show that LogicENN outperforms the state-of-the-art models in link prediction.

Link prediction -- это create or recover missing links in knowledge graphs, e.g., identifying the birthplace of a person or the CEO of a company. Проблема тут не только в точности предсказания (и глубокие модели тут, конечно, побеждают всякие одноуровневые алгоритмы), но и в огромных вычислениях. Так что в эту точку бьют и работы, позволяющие меньше вычислять, типа https://exascale.info/assets/pdf/ostapuk2019www.pdf. Этих работ множество. Помним, что один из лидеров в knowledge graphs классического вида CYC делает ставку тоже на нейронные сети и вероятностные методы для эвристических способов ускорять логические вычисления в своих огромных графовых базах знаний -- Doug Lenat, например, хвастается тем, что от по факту финансирования госсиловиками перешёл в последнее время к нормальному финансированию коммерческими компаниями и теперь CYC прибыльная компания -- https://www.forbes.com/sites/cognitiveworld/2019/07/03/what-ai-can-learn-from-romeo--juliet/, https://www.cyc.com/publications/ (при этом они не стали более открытыми, всё так же мало кто понимает, что там происходит. Но точно происходит много интересного. Другое дело, что теперь они абсолютно не одиноки. Их стремительно догоняют по всем фронтам).

Тема Ontology Summit 2020 -- как раз knowledge graphs, http://ontologforum.org/index.php/OntologySummit2020. Слайды и видео первой встречи "Why Knowledge Graphs Hit the Hype Cycle and What they have in common" см. http://ontologforum.org/index.php/ConferenceCall_2019_09_04.

Так что наступает очередная весна не только нейронных сетей, но и семантических сетей (минус слово "семантические", ибо semantic web и OWL существенно дискредитировал идею, и идёт возврат к истокам).

А дальше, как всегда: дикие дискуссии о том, что школа учит не жизни, а сдаче ЕГЭ. Школьники на выпуске будут не уметь жить и работать, а уметь сдавать ЕГЭ, в совершенстве! И AI будут уметь не жить и работать, а сдавать ЕГЭ в совершенстве! Самые разные ЕГЭ самых разных стран. Например, сдадут экзамен на доктора (почему бы и нет!) и захотят работать врачом. Другое дело, что работать врачом -- это не сдавать экзамен, на экзамен-то можно натаскать, а на работу что-то другое требуется.

Я вот даже в своей семье не могу объяснить, что учиться нужно работать, а не сдавать экзамен. Мне говорят "потерпи год, и всё кончится". Я-то потерплю, а бесполезно проведённый год жизни вьюноша куда девать? Ему, бородатому, работать уже нужно, или хотя бы учиться работать. А он учится сдавать ЕГЭ, и я единственный, кто против.

Ровно та же история с экзаменами по профстандартам в качестве допуска к профессии. Тестируется одно, а на работе требуется абсолютно другое!

Очень надеюсь, что успешно сдающий экзамены ЕГЭ, экзамены на профстандарты AI как-то внесёт свежую струю в эти обсуждения.
2 comments|post comment

lytdybr [14 Sep 2019|11:34pm]
7 сентября 2002 года произошла серьёзная перестройка в моём экзокортексе: я начал писать "Лабораторный журнал" (laboratory log) в тогда ещё относительно новом стиле web log, или сокращённо blog в ЖЖ. Тем самым моя осознанность повысилась (про киборгизацию и осознанность только что я писал тут: https://ailev.livejournal.com/1488271.html). То, что мелькало в моём мозгу, я записывал (это ведь и предполагает лабораторный журнал! дневник, дневник!). А потом появился Яндекс, помогавший искать по моим записям. Потом Яндексу в этом плане поплохело, но наладилась работа с Гуглём (для поиска в моём блоге нужно добавлять в строчку поиска site:ailev.livejournal.com, у меня это делается клавиатурной макрой в Punto switcher). И теперь я спокойно думаю одну мысль десяток лет, довольно быстро восстанавливая контекст того, что занимало мозг раньше -- сам я не гений в удержании внимания на таких длинных временнЫх интервалах, но с ЖЖ и Гуглём это как-то получается. При этом часто находятся таки мысли, за которые потом стыдно. Вот, например, мои тезисы доклада "Реформирование инфраструктурных сетей в «естественных монополиях»" на Байкальском экономическом форуме 18 сентября 2002г. -- https://ailev.livejournal.com/8014.html. Это 17 лет назад. "Когда мы были молодыми и чушь ужасную несли". Путин к тому моменту правил только пару лет. И тогда этот доклад казался вполне state-of-the-art, за него ничуть не было стыдно. А теперь тщета моих дел в те годы хорошо понятна. Ну, через семнадцать лет и многие сегодняшние мои дела будут казаться дичью. Но есть надежда, что не все.

Проект моделирования мультиданса в социальных танцах потихоньку движется, сочетаю приятное танцевание с полезным думанием. На прошлой неделе я побывал на форро-фестивале, вчера сходил на опенэйр линди-хопа. Мы готовим открытие первой учебной группы по буффу (такое рабочее название для социального мультиданса в нашем системном его варианте), я написал кучу текстов в https://vk.com/buffdance и начал тасовать слайды для семинара по моделированию. Моделирование вводится на двух системных уровнях: моделировать нужно мышечную работу в рамках системного фитнеса (и будем дополнять системный фитнес новым тренингом по моделированию, дополнять содержание), а ещё нужно моделировать сами танцы. Вот место буффа в экосистеме разных телесных практик на базе системного фитнеса (и тут тоже нужно бы придумать какое-то название для всех этих проектов, надстраивающихся над системным фитнесом и его моделированием телесных форм):


Я в этом проекте преподавать сам не буду, но я там научный руководитель, а на старте приходится выполнять и много работы по моделированию. Общая конструкция удивительно напоминает то, что мы делаем с основными нашими дисциплинами: системное мышление у нас само базируется на методологических дисциплинах (прежде всего онтологике), а выше него идёт деятельностный кругозор, знакомство с практиками системной инженерии, менеджмента, предпринимательства и другими. Тут то же самое -- в роли онтологики идёт системный фитнес, в роли системного мышления идёт буффер (общая часть для всех социальных танцев), далее социально-танцевальный кругозор по основным видам танцев (чтобы могли узнать каждый танец и примерно представляли, чем занимаются люди в соответствующей тусовке), а дальше идут прикладные практики каждого танца -- и вот им мы не учим, учителей конкретных танцев в мире достаточно.

Вот структура самого буффа, а в ней показано, чему будем учить (ориентировочно это будет интенсив 3 месяца по три раза в неделю по паре часов вечерами, а по числу учебных часов это будет похоже на "Системный менеджмент и стратегирование" -- где-то 72 часа. Скоро объявим семинар, где будем об этом рассказывать подробней):


Идут семинары выпускников по системному менеджменту (вот выложена только что запись ещё одного -- https://www.youtube.com/watch?v=tVlPXhvO5kw), а ещё у меня сейчас в работе пять менти. Со всеми одна и та же проблема: системное мышление ОК, но онтологика не-ОК, ровно по линии из https://ailev.livejournal.com/1465753.html. Похоже, нужно просто сержантским методом потратить больше часов, чтобы люди научились отличать отношения часть-целое, классификации, специализации, а также физические объекты и их описания. Чтобы цепочки обеспечения надёжно удерживали в обсуждении цепочками, а не путались с постоянным перещёлкиванием внимания. Чтобы удерживались в рамках одного view (например, функциональное описание, не сваливаясь в конструктивное описание), а view не путали с системными уровнями. С одной стороны, семинары и менторство решают именно эту проблему -- налёт часов с обратной связью от препода, в том числе и обратной связью в области онтологики. Но очень хочется больше времени тратить на прикладные обсуждения, а не на базовые навыки онтологики. Нужно как-то уже эту проблему онтологической надёжности мышления, онтологической беглости решать, что-то с этим делать. Что-то мне подсказывает, что решение будет лежать по линии языка моделирования (да, опять упираемся в SysMoLan и его моделер с возможностью exploratory modeling) и задачек на моделирование с автоматической проверкой.

Вьюнош сам записался в кружок олимпиадной физики "Потенциал" МФТИ, сдал туда экзамен и поставил изумлённых родителей перед фактом: будет туда ходить, как и все прошлые годы. А я, наивный, думал, что он займётся чем-нибудь полезным, т.е. прекратит учиться "впрок", а начнёт хоть что-то делать-придумывать и уже учиться целенаправленно. Но нет, не судьба. Инфантилизм на марше, вьюнош торжественно заявляет, что ему все говорят учиться -- он и учится, какие ж к нему претензии? Вот когда сдаст ЕГЭ, тогда и начнёт что-то делать. Ага, тогда и поступит в вуз (и оправдание будет: откос от армии), и ещё лет пять-шесть будет говорить, что когда закончит вуз, тогда и начнёт что-то делать. Тем более что вуз можно потом раз пять заканчивать, но до производительного труда так и не дойти. Так что физику он знает крепко, но толку пока от этого -- нуль. Меня утешает только то, что я в выпускном классе вообще не знал ничего о существовании программирования, потом пять лет учился химии, но моя первая настоящая работа была именно программистом. Неисповедимы пути человечьи, будем уповать на это.

Им объявили темы школьных сочинений этого года. Да, "Война и мир" там есть -- я писал своё школьное выпускное сочинение в 1975 году, прошло с тех пор 45 лет (писать он будет в 2020 году!), а эта дурацкая система образования продолжает играть этот день сурка, из года в год.
4 comments|post comment

navigation
[ viewing | September 14th, 2019 ]
[ go | previous day|next day ]