?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Семантический морфинг для принцесс и драконов [09 Dec 2015|12:46am]
Глубокое обучение добралось до изучения мира аниме и манги, и там был предложен новый "научный инструмент визуальной литературы": semantic morphing -- Given two query illustrations, a semantically smooth transition from one to another is computed (each column), by which drawers can find reference illustrations that are not reachable by traditional keyword-based search (http://illustration2vec.net/, A Semantic Vector Representation of Illustrations).


Народ уже играется: превращают через deep dream фотографии в иллюстрации из манги (https://medium.com/@samim/adversarial-machines-998d8362e996#.8ufq5bqad):

Синтез изображений уже не такая уж проблема (http://www.bloomberg.com/news/articles/2015-12-02/computers-learn-how-to-paint-whatever-you-tell-them-to, https://github.com/Newmu/dcgan_code с арифметикой изображений и морфингом окон в телевизоры).

Люди ещё не понимают, что дают распределенённые представления (в том числе embeddings):
-- работа с пространством значений, в том числе теми его местами, которые не обозначены словами (но это не значит, что там нет значений!).
-- уравнивают тексты, картинки, настроения, кинестетику и т.д.: всё это оказывается местами в пространстве значений. Вплоть до того, что описание картинки оказывается переводом с языка картинки на естественный язык (и делается это тем же методом, что перевод с одного естественного языка на другой! Это прежде всего работы Kyunghyun Cho).
-- задают альтернативу логическим онтологическим построениям (деревьям, графам и т.д.). Онтология оказывается представлена просто пространством! Что есть в мире -- всё, что есть в пространстве значений!!! Можно совмещать пару пространств значений и ожидать мэппинга имеющихся выделенных значений (т.е. мэппинга онтологий-в-классическом смысле). Какую-то похожую работу я уже видел, просто ссылки не запомнил.
-- работа с векторами в этом пространстве, которые неожиданно оказываются вполне семантичными -- отношениями! Например, отношения "столица - её страна", "объект мужского пола -- аналогичный объект женского пола". Более того, там оказывается линейность (http://research.microsoft.com/apps/video/default.aspx?id=258666&r=1)
-- можно проводить рассуждения, хотя это не логика. Вот пример вычисляемых ответов на вопросы (знаменитые 20 тестов Facebook по ответам на вопросы таки по факту пройдены на 100%): http://arxiv.org/abs/1511.06426, предлагаются reasoning models in tensor space with learning capabilities.

Это смена текущей айтишной парадигмы, это другой способ думать о мире, другой способ "нелогического" вывода, другой способ обработки данных, всё другое. В этом странном мире даже парсеры синтаксис выучивают и становятся лучше, чем те написанные вручную парсеры, на результатах которых их обучали (ошибки ручных парсеров они считают шумом! а внутри них в нейронной сетке уже не "грамматика", а что-то совсем другое): http://arxiv.org/abs/1412.7449, работа называется Grammar as a Foreign Language, грамматику учат нейронной сеткой просто как ещё один язык! Вчитайтесь в последнюю фразу этой статьи: "This work shows that domain independent models with excellent learning algorithms can match and even outperform domain specific models" -- это и есть слом парадигмы, а также ход на компактификацию разбитого по факультетам знания.

Это всё только цветочки, ягодки же будут в интеграции нейро-подхода и традиционного логического подхода -- http://www.neural-symbolic.org/CoCo2015/ (там двухдневный семинар 11-12 декабря 2015 в рамках NIPS 2015 в Монреале, 23 ежегодная конференция по Neral Information Processing, https://nips.cc/).
4 comments|post comment

Будущее науки [09 Dec 2015|10:33pm]
Поддался на уговоры и выступил про будущее науки на форсайте ЦСР в рамках "Московского дня науки". Анонс доклада был такой:
В науке на волне достижений машинного обучения (в особенности – глубокого обучения) в пику почти тысячелетнему тренду на формализацию знания в рамках какой-то символической (чаще всего логической) системы, опережающими темпами растёт внимание к другим, нелогическим и некатегориальным видам знания, устроенным на базе распределённых представлений (distributed representations). Эти знания обладают отвратительной модульностью, но их успешное использование сегодня ставит под сомнения достижения многих и многих наук – особенно с учётом того факта, что само это знание успешно начинает использоваться при создании компьютерных интеллектуальных систем (словосочетание «искусственный интеллект» не используется намеренно: различие искусственности и естественности интеллекта оказывается несущественным).

Тем самым появляются и новые способы получения и использования научного знания, и новые виды самого научного знания, основанного на распределённых представлениях, принципиально несимвольных. Особую пикантность тут придаёт тот факт, что провести границу между инженерией и наукой в этой области почти так же трудно сегодня, как между software engineering и computer science в 1968 году (когда только-только пошёл в массы термин software engineering).
Слайды (http://www.slideshare.net/ailev/ss-55988616):


Большинство докладчиков использовали безличные предложения, делая предложения к стратегии развития науки в России: стиль "писем в спортлото". Кто-то нуждался в деньгах для развития науки, кто-то алкал правильного управления, кто-то просил (интересно, какое именно "спортлото" это может обеспечить?) возврата если не власти, то хотя бы былого влияния и авторитета учёного.

Ведущий (В.Княгинин) сумрачно замечал, что судя по выступлениям, наука в России вымрет, и скоро. Настоящее её мерзко, будущего нет. Я согласен, наука всенепременно вымрет в её прошлом и настоящем виде, и не только в России, но и в мире. Ничего в этом страшного нет: производство компактных описаний мира продолжится. Не будет "отрасли науки", не будет "профессии учёного". Ярлыки отвалятся, люди и оборудование останутся, а деятельность в плане добычи знаний только интенсифицируется.

Обсуждать будущее в терминах прошлого (все эти "академии наук", "учёные") нехорошо, нужно обсуждать не победы и их оргоформление из прошлого, которые пытаются "сохранить в настоящем". Нужно не сохранять, а делать новое. И люди делают новое безо всякой указивки со стороны "стратегий развития". Никакая "стратегия развития науки" не поможет изменить картину мира к лучшему.

Ну, и участники этого "форсайта" избегали говорить о самой организации науки. А ведь тогда невозможно применить обратный манёвр Конвея: организация науки существенно зависит от содержания её (обувная фабрика устроена иначе, чем интернет-магазин. Наука в её организации может отличаться не меньше!).

Так что я в своём сообщении (см. слайды) сосредоточился на содержательной части. А выводы просты:
  • Наука автоматизируется. У кого есть знаниевый эксаватор, тот выиграет у использующего знаниевую лопату. Вкладываться нужно не столько в собственно научное «землекопательство», сколько в "экскаваторостроение" для науки, уже отнюдь не "земляные работы". Но "экскаваторостроение" к науке не отнесёшь, это инженерия.
  • Новая парадигма «невидима» для незнакомых с ней. Ключ сегодня – распределённое (несимвольное, нелогико-онтологическое, некатегориальное) представление знаний и работа с ним. Работа с таким знанием формально не будет признаваться наукой, а «классическая наука» быстро скатится к статусу схоластической (и поэтому не слишком уважаемой) деятельности.
  • Задача ведь получать actionable knowledge, а не называться «наукой». Так что нужно как-то начинать работать мимо словесных ярлыков. Эти словесные ярлыки нужны только для получения госфинансирования, льгот и скидок, орденов и медалей.
В кулуарах бурно обсуждались онтологии, гиперграфы и всякая прочая античность, которая была в научной моде буквально пяток лет назад.

UPDATE:
Ещё обсуждения этого текста:
-- https://freefeed.net/ailev/2c25d251-95f6-4d25-beca-0ca260f25e7c
-- https://mokum.place/zverok/99348
-- https://www.facebook.com/ailevenchuk/posts/10206047169992351 (там нужно смотреть shared, все дискуссии там)

UPDATE2: почитать про распределенённые представления нужно тут -- http://ailev.livejournal.com/1228029.html (без этого вообще непонятно, о чём речь). Вообще забавно, как люди критикуют совсем не то, о чём написан текст. Тут используются термины, а их трактуют как бытовые слова -- но разъяснение этих терминов явно выходит за рамки текста. Считайте, что это "текст для своих" ;-)

UPDATE 3: видео выступления -- https://youtu.be/wkNvxEPwpes
23 comments|post comment

navigation
[ viewing | December 9th, 2015 ]
[ go | previous day|next day ]