?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Глубокое обучение мельчает? Не дождётесь! Ждём гиперреволюцию, гиперэволюцию! [13 Jul 2015|12:52am]
Эксперт Мелкомягких Исследований Li Deng заявил недавно, что в deep learning все низковисящие фрукты сорваны, и период бурного развития и надувания пузыря переходит в планомерное совершенствование -- каждого нового результата теперь придётся ждать долго (http://www.theplatform.net/2015/07/07/is-the-window-closing-on-big-leaps-forward-in-deep-learning/).

Моё мнение совсем другое: всё только-только начинается и полученные в последнее время результаты не выход на верхнее плато S-образной кривой развития, а ровно наоборот -- окончание нижнего плато.

Сейчас происходит интенсивная ломка мозгов, массовая и по всему миру. Так, рассуждения про "машины тьюринга недостаточно для моделирования интеллекта" заменяются на "нейронных сетей достаточно, чтобы моделировать машину тьюринга". Вообще, нейронные сети формально моделируют любую функцию, в том числе функцию множества переменных. Это, кстати, очень сильное теоретическое утверждение (http://neuralnetworksanddeeplearning.com/chap4.html) -- ибо "функция" это не только численная функция, и компиляция компьютерной программы, и перевод с языка на язык, и классификация, и поиск. С одной стороны, это не строгое воспроизведение "любой функции", а именно что "бесконечное приближение", моделирование самого важного -- но это изменение парадигмы. И вот самые отчаянные уже говорят о триумфе эмпирицизма в лице глубоких архитектур: http://www.kdnuggets.com/2015/07/deep-learning-triumph-empiricism-over-theoretical-mathematical-guarantees.html. И мы помним, что deep learning это только часть более общего направления representation learning (http://ailev.livejournal.com/1045081.html). А ещё помним, что в основе нейронных сеток лежат какие-то присущие природе закономерности, это не чистая "придумка ума", они физичны в своих свойствах -- там, похоже, работает физика процессов эволюции (http://ailev.livejournal.com/1197148.html). Вообще, идеи из физики в нейронных сетях -- это уже общее место. Вот, например, Deep Unsupervised Learning using Nonequilibrium Thermodynamics -- http://jmlr.org/proceedings/papers/v37/sohl-dickstein15.html

Пузырь в такой ситуации взрывного роста успехов исследователей и инженеров, конечно, неминуем. Куда ж тут без пузыря и обманутых ожиданий желающих поучаствовать в неминуемых прибылях! В ходе надувания пузыря огромное количество народу будет узнавать про новую предметную область и тыкаться в ней во всё, что ни попадя -- и ведь попадут (во всех смыслах этого слова)! Так, акцент уже сегодня с классических работ по анализу изображений смещается на их синтез. Плюс выпячивается аспект глубокой нейронной сетки как "универсального вычислителя". Такая сетка начинает использоваться для разбирательства с последовательностями, текстами и другими разворачивающимися во времени процессами (а не картинками и прочими статическими ситуациями) -- вот свеженький обзор подходов http://arxiv.org/abs/1506.00019.

Их уже начинают использовать в вопросно-ответных системах, это наверняка будет следующим хитом (потенциально это, конечно, killer application) -- уже их добавляют в IBM Watson (http://www.technologyreview.com/news/539226/ibm-pushes-deep-learning-with-a-watson-upgrade/), а MetaMind демонстрирует "научение рассуждениям, научение распознавать причинно-следственные связи (http://www.technologyreview.com/news/538821/computers-are-getting-a-dose-of-common-sense/). Вообще, сходите на вебсайт MetaMind (https://www.metamind.io/), развлекитесь. Там много интересного. Вот, например, как они приспособили способность нейронной сетки распознавать изображения -- накладывают в очках augmented reality на изображение предмета его название на иностранном языке, получается словарь-переводчик хоть для разговора, хоть для изучения языков (https://www.metamind.io/alis):


Аппаратура на подходе, но и на существующей аппаратуре прогресс довольно ощутим. Например, NVIDIA выпустила новую версию библиотек, которая ускоряет работу нейронных сетей на её ускорителях (pun intended) вдвое -- и что, вдвое это "уже нет существенного прогресса"? Налетай, http://www.nvidia.ru/object/nvidia-updates-deep-learning-software-jul-07-2015-ru.html. Хотя да, когда нейронные сетки улучшали результаты существующих алгоритмов распознавания речи при увеличении скорости в сто раз и выигрыше по памяти в те же сто раз, то "вдвое" уже не кажется прогрессом. Но так и закон Мура можно обозвать законом периода застоя в развитии вычислительной техники, там ведь тоже всё основано на "вдвое"!

Потенциал разгона вычислений в representation learning ещё не исчерпан. Например, возникают новые способы порождения кода для ускорителей -- вот, evolving GPU Machine Code (использует идеи квантовых вычислений, чтобы синтезировать код для GPU -- http://www.jmlr.org/papers/v16/dasilva15a.html). А есть и просто исследования по новым аппаратным архитектурам для scientific computing, совершенно необязательно это "нейроморфные архитектуры", никаких нейронов, чистая математика с оптимизацией типовых операций, встречающихся в том числе в representation learning (помним, что в этой предметной области отнюдь не всё "нейроморфное"!). Получается, что мы на вполне дискретно-логических (тьюринговых, "теоретически строгих") машинах делаем эмпирические "аналоговые" вычислители, которыми вновь моделируем строгую логику -- более того, открываем эту новую логику в природе, распознаём без учителя много сначала более-менее "физических", а затем всё более логических уровней абстрации, тех самых, что у Gregory Bateson, тех самых что обсуждают философы, когда обсуждают объективацию -- способ, которым мы выделяем объекты из физического мира (и мира идей, впрочем тоже, который каждый раз оказывается более физичным, чем о нём можно было бы подумать. Ах, проклятие метафизики, от которой нельзя отмахнуться!).

Попутно начинают появляться аргументы против луддитов с их вечным "эти машины забирают нашу работу". Конечно, забирают. Так, порнографию из социальных сеток в прошлом году отлавливало до 100тыс. человек (кто б мог подумать!) -- http://www.wired.com/2014/10/content-moderation/. В этом году это делает нейронная сетка -- http://www.wired.com/2015/07/twitters-new-ai-recognizes-porn-dont/. Рраз -- и ста тысяч рабочих мест нетути! Рабочие места аналитиков спецслужб, надеюсь, тоже будут исчезать сотнями тысяч: работа-то у них похожая! Всё то же самое применимо и к спаму -- Гугль вот объявил, что с помощью нейросеток избавился от спама в gmail на 99.9% -- http://www.wired.com/2015/07/google-says-ai-catches-99-9-percent-gmail-spam/

Но как маленькая кучка капиталистов не захватила всех прибылей мира, потому как капиталистами (т.е. так или иначе получающими доход от вложенного в ценные бумаги капитала) стало подавляющее число населения в развитых странах, так и прибыль от эксплуатации роботов/инструментов/станков достанется отнюдь не только кучке их владельцев. Утеря работы руками не будет означать неминуемой утери дохода, ибо этой работой можно владеть через личное или коллективное владение роботом -- тщательно воспитанным и обученным (артигогика: http://ailev.livejournal.com/1011621.html, http://ailev.livejournal.com/1133262.html). Эти аргументы нужно ещё чистить и чистить, но они уже появляются: http://www.technologyreview.com/featuredstory/538401/who-will-own-the-robots/

Нет, учёный из Microsoft Research поторопился с выводами. Ещё не все низковисящие плоды сорваны, выход на уровень работы нейронных сеток, сравнимый с человеческими результатами не означает, что всё вдруг остановилось и дальше мы будем медленно-медленно приближаться к тому, что умеет человеческий мозг из настоящих белковых нейронов. Существование низковисящих плодов только-только начинает осознаваться, а инженеры быстро-быстро строят лестницы туда, куда исследователи даже не думали заглядывать, предприниматели находят новые вполне низковисящие плоды там, где их никто не ожидал.

Нейронная сетка это машина, её делают инженеры. Ей не нужно эволюционировать миллионы лет, как динозаврам для получения птички. Людям для создания летательного аппарата тяжелее воздуха потребовалось не так много лет. Главное было -- взлететь первому самолёту. Первая ЭВМ тоже случилась совсем недавно, а ведь Alan Kay утверждает, что компьютерная революция (классических фон-неймановских компьютеров!) ещё толком не началась -- http://ailev.livejournal.com/469995.html.

Если развить эту метафору, то первые глубокие сетки как раз только что взлетели (и пилот в них тождественен механику, как на заре авиации -- ситуация даже хуже, чем в первые годы космонавтики), как раз только выполнили первые программы (набранные в машинном коде переключателями "с пульта", если уж сравнивать их с первыми компьютерами -- да, именно настолько неудобно эти сетки сегодня конфигурировать и настраивать). Дальше всё не замедлится, дальше будет только ускоряться -- революция нейронных сеток ещё не началась. Более того, я даже не уверен, что это будет революция именно нейронных сеток, на слуху ведь ой-ой-ой сколько самых разных архитектур representation learning. А уж смесь из representation learning с его глубокими архитектурами, классической компьютерной революции (в её хардверной и софтверной части) и стремительно приближающегося квантового компьютинга может дать не то чтобы революцию, а гиперреволюцию. Ну, или не эволюцию мышления, а гиперэволюцию -- революция, эволюция, шмеволюция тут уже неважно.
50 comments|post comment

11K экран в смартфоне Samsung -- шанс для слабых искусственных интеллектов [13 Jul 2015|01:24pm]
Для чего производители смартфонов увеличивают число пикселей на своих крошечных экранах? Вон, Samsung объявил о создании смартфона с 11К пикселей (2250 пикселей на дюйм) уже через три года -- http://english.etnews.com/20150710200002. Эти ж пиксели неразличимы глазом уже чуть ли не при 326 пикселей на дюйм, "ретине" (https://en.wikipedia.org/wiki/Retina_Display)? Неужели из-за 3D эффекта "без очков", который хотят сделать на таком экране (Samsung утверждает, что при таком суперразрешении экрана возникает правильная для 3D ощущения оптическая иллюзия)?

Нет, просто уже и сейчас смартфоны засовывают в очки из картона (с подачи Гугля) или пластмассы (начинают выпускаться массово) и делают из таких "пустых очков" шлемы виртуальной реальности -- типа http://www.wareable.com/samsung/samsung-gear-vr-review. Картинка в таком шлеме существенно увеличивается, чтобы закрыть по возможности всё поле зрения, так что даже при 11K до качественного изображения с неразличимыми пикселями будет далеко.

11К это явно побольше, чем "следующее мейнстримное" 8К (http://www.pcworld.com/article/2881732/new-standard-paves-way-for-8k-display-in-allinones-laptops.html, http://drbobtechblog.com/8k-133megapixel-60-fps-image-sensor/).

Для обработки изображений 11К нужно существенно развить и аппаратуру -- аппаратные графические ускорители, связные интерфейсы (в том числе интерфейс аппаратного графического ускорителя с оперативной памятью).

Но мне ещё греет душу то, что аппаратные ускорители для 11К графики и для нейронных сеток могут оказаться очень похожими. Это означает, что любители игр и кино проинвестируют вычислительные мощности для задач deep learning. А если 11К графика будет в смартфонах, то это автоматически будет означать, что и глубокие нейронные сетки в смартфонах будут аппаратно обеспечены. И для этого почти ничего не нужно делать, разве что желать успеха издателям игр для шлемов виртуальной реальности -- часть этого успеха в виде дешёвых аппаратных ускорителей перепадёт и слабым искусственным интеллектам.
9 comments|post comment

Стратегические деревья [13 Jul 2015|09:51pm]
Вчера в посте "Стратегия развития предпринятия и её моделирование" (http://ailev.livejournal.com/1201751.html) я заметил, что кроме непосредственного моделирования стратегии средствами расширения целеполагания ArchiMate 2.1, можно использовать и другие средства -- например, карту действий и результатов (наше TechInvestLab русскоязычное переложение дерева стратегии и тактики Голдратта в 2008 году было такое: http://ailev.livejournal.com/567097.html, оригинальное гнездо методики сейчас http://www.tocico.org/?page=strat_tact_portal).

Как выглядят такие модели на практике? Мы в 2008 году использовали для их разработки честно купленную программу Flying Logic, а сегодня бы рекомендовали для этого бесплатный yEd -- http://www.yworks.com/en/products_yed_about.html (в их основе одна и та же библиотека авторазводки).

Вот пример дерева "стратегии реализации стратегии" -- стратегии организационной работы по реализации транспортной стратегии областного уровня. Это не слишком большая карта, всего три уровня (в .pdf её можно поглядеть тут -- http://techinvestlab.ru/394450), она сделана по шаблону


Проблема оказалась в том, что на печати подобные карты представляют собой рулончики в метр шириной и четыре метра длиной -- поглядите пример в .pdf и вы сразу всё поймёте. Ну, и на проекторе это тоже необозримо.

Позже мы с клиентами начали оформлять такие "деревья", как и Голдратт -- по узлу на слайд в PowerPoint. Да, целостное ощущение от дерева и места в нём каждого элемента стратегии терялось, но зато проще стало устраивать обсуждения (сами понимаете, презентация четырёхметрового стратегического рулона была очень эффектной и эффективной, но чисто логистически её было трудно проводить -- приходилось или сдвигать столы, или выбирать длинную свободную стенку, не боящуюся скотча или кнопок. Но зато такие торжественные стратегии-рулоны потом висели в начальственных кабинетах по многу лет, нам укором. Ибо стратегия ничто, а стратегирование всё: отсутствие непрерывных коррекций в стратегии для неё смертельно).

Поменяли мы и содержание узла стратегического дерева, приблизив его к strategy case (по аналогии с assurance case -- инженерными обоснованиями). В 2015 наш узел стратегического дерева выглядит так:

strategy_node

Основное тут -- это разделение 1. цели (целевого состояния мира, результата действия, события как 3D среза состояния мира в момент его наступления) и 3. приводящей к достижению цели практики (средство достижения цели, деятельность, способ работы). При этом нужно 2. обосновать, почему вам вдруг захотелось такой цели, 4. обосновать, почему вдруг вы считаете, что ваша практика приведёт к достижению цели. Кроме этого нужно 5. сформулировать какие-то практики/деятельности, которые вы перестанете (или не будете, хотя и собирались) делать после принятия стратегии, ибо стратегия это всегда жертва, это фокусирование на чём-то одном в ущерб чему-то другую. Наконец, 6. вы должны привести несколько событий/целей/результатов/состояний мира более низкого уровня и практики их достижения и обоснования. Это нужно, чтобы ответить на возражения, что ваша затея с выбором практики рискованная: что вам удастся выполнить практику не "как всегда", а "как лучше", вы продумали детали и отвечаете на все возможные возражения заранее. Эта детализация часто идёт до четырёх-пяти уровней, а самый верхний уровень -- это миссия.

На наших семинарах мы это растолковываем, конечно, более подробно.

Как это всё выражать в ArchiMate? Трудно, поскольку авторазводка тут главное, а в повсеместно используемом моделере Archi авторазводки нет (посмотрите на пример дерева и прикиньте, как бы вы это выравнивали руками).

Более того, и это не единственное представление для стратегии. Бизнес-модель это ведь тоже стратегия, а для неё сегодня принято представление в виде холста (canvas), я при этом предпочитаю не оригинальный холст (кратенько о нём в http://www.slideshare.net/wanderer_from/6-9293757), а модифицированный Lean вариант -- http://leanstack.com/why-lean-canvas/

Моделер Archi для таких "неукладывающихся" в стандарт ArhciMate менее формальных моделей использует холст, который можно настраивать на разные форматы. Там это рекламируется как средство для "архитектурных эскизов", перед формальным моделированием. Но мы же понимаем, что в 99% случаев этими эскизами дело и ограничится, это ведь и есть современный тренд Lean. Но если речь идёт не о маленьком стартапе, а о большом холдинге и координации действий сотен людей, там можно задумываться и о более серьёзном, формальном моделировании.

Выражение всех этих альтернативных стратегических моделей в ArchiMate -- это предмет отдельного рассказа. Но перед этим мне ещё нужно вам рассказать о моделировании с опорой на события, они же контрольные точки (checkpoints или milestones -- это вы выбирайте сами, подойдёт и одно и другое).
5 comments|post comment

navigation
[ viewing | July 13th, 2015 ]
[ go | previous day|next day ]