Конечно, начинаться такая лента должна с традиционных прогнозов, типа "где рванёт deep learning в ближайшее время?". И рассказа о том, что это роботы, здравоохранение и самоиграйки/саморисовалки/самотворилки (начиная с дико умных фильтров к фотошопу, которым можно рассказывать на чистом русском языке, что ты хочешь сделать, а они именно это и будут делать, кончая программами мультипликации, которым ты говоришь, какой мультфильм хочешь, а они сами сочиняют сценарий и рисуют персонажей по их краткому словесному описанию. Это как музыкальные "самоиграйки", в которых соло ты делаешь сам, а аккомпанимент весь они тебе играют сами -- только из музыки это нужно переносить во все остальные виды творчества, да и в компьютерных самоиграйках соло тоже тебе уже давно делают, например, в Band-in-a-Box: http://www.pgmusic.com/). Творчество в массы! Каждому в карман (на смартфон) по фотографу, ретушёру, художнику, мультипликатору, композитору, музыканту, поэту, писателю и т.д., причём не более чем по $2.5 за каждую специализацию. Prism тут только самая первая ласточка, виртуальная реальность уже сажает и тебя самого в этот мир, делая и тебя самого мультяшкой, за копейки (https://www.youtube.com/watch?v=xMgoypPBEgw). Это попсовый творческий видимый публике художественный фейс для непопсовых технологий машинного обучения, которые через пяток лет научат наконец-то танцевать роботов и тыкать носом в очевидные ляпы консилиумы врачей из мяса. Тут я даже ссылок приводить не буду, это приложения, это попсовая поверхность. А ещё в попсовых лентах любят написать про "охладили пару атомов почти до нуля, поставили мировой рекорд" -- ибо это зримо, круто, читабельно. Особенно что-то из астрофизики: это сейчас подмешивается во все ленты. Но интересно то, что происходит на глубине, где генерируются идеи, которые потом все эти мировые рекорды и обеспечивают в конечном итоге.
Как обычно в последнее время, источник идей -- информатика, которая потом и даёт прорывы в робототехнике, генетике, астрофизике и т.д.. А в информатике крутые идеи идут из AI (включая машинное обучение, в котором внутри deep learning -- но там ещё и многое другое). На непопсовой глубине бурлит очень разнообразная и непростая жизнь, идёт эволюция идей, которые потом и обеспечат прорывные новости в попсовых лентах.
Вот обзор по дифференцируемому программированию (differentiable programming): про создание функциональных языков программирования, в которых в силу их дифференцируемости можно использовать backpropagation и какие-то функции не столько определять, сколько выучивать -- https://pseudoprofound.wordpress.com/2016/08/03/differentiable-programming/. В конце текста заодно поминается и вероятностное программирование и его языки, я о них неоднократно писал. Там не только программа может по входу дать выход, но и по выходу показать входное распределение. Информатика никогда не будет прежней, рок-н-ролл из классической computer science ушёл, она становится чем-то типа ньютоновской физики в начале прошлого века -- несмотря на то, что компьютерная революция ещё не началась (http://ailev.livejournal.com/469995.html).
Ещё одна тема, которую нельзя недооценивать -- это попытки transfer learning (передачи выученного) не просто в случае нейронных сетей, но в reinforcement learning (обучении с подкреплением). Модели обучения с подкреплением начинают усложняться с тем, чтобы отдельно выучивать особенности окружения и особенности разных сложных поведений в этом окружении. То есть умение бродить в лабиринте с засадами нужно выучить так, чтобы потом использовать это умение для достижения разных мест в этом лабиринте. Или выучить робота "танцевать вообще" (управляться с телом), чтобы он потом танцевал или кизомбу, или мазурку. Вот работа в этом направлении, там некоторый обзор: http://arxiv.org/abs/1606.05312, Successor Features for Transfer in Reinforcement Learning. Всё это направление развивается сейчас как эксперименты с value function representation, и тут ожидается много чего интересного в ближайшие годы.
Инженерия машинного обучения (и даже круче -- искусственного интеллекта) тоже не стоит на месте. Вот обсуждение безопасности в машинном обучении с попыткой принести известные в инженерии эвристики в машинное обучение, Engineering Safety in Machine Learning -- http://arxiv.org/abs/1601.04126. А вот безопасность уже даётся для более общего случая AI-систем в реальном мире, Concrete Problems in AI Safety -- https://arxiv.org/abs/1606.06565. В отличие от попсового захода со страшилками скайнета, тут самый обычный инженерный разговор: accidents in machine learning systems, defined as unintended and harmful behavior that may emerge from poor design of real-world AI systems. Обсуждается пять рисков (на примере робота-уборщика): avoiding negative side effects (типа как объяснить роботу, что китайские вазы в доме разбивать нельзя: невозможно же ему давать запреты на каждый вид предметов!), avoiding reward hacking (речь идёт не о внешних хакерах, а самом алгоритме. Скажем, если награждать робота за отсутствие бардака, то алгоритм может обнаружить, что при сужении поля зрения бардак исчезает -- и придумает способ ослепить робота, чтобы получить свою награду), scalable oversight (поднять степень автономности -- чтобы не переспрашивал, можно ли выбросить фантик от конфетки, или можно ли выбросить обнаруженный сотовый телефон), safe exploration (чтобы не делал опасных экспериментов. Скажем, можно поэкспериментировать с половой тряпкой, но тыкать влажной тряпкой в электророзетки не стоит), robustness to distributional shift (чтобы после перехода из учебной обстановки в целевую он устойчиво функционировал: скажем, безопасные в офисе стратегии после их тренинга в офисе могут оказаться весьма опасными в заводском цеху). И опять же, всё это должно учитывать контекст обучения с подкреплением. Когда-то Yan LeCun заметил, что reinforcement learning это вишенка на торте базовых алгоритмов машинного обучения -- и с ним даже все согласились. Но вишенка эта сейчас стремительно разрастается.
Развитие темы highway networks (residual networks, которые победили всех в соревновании ImageNet тут как вариант этих highway) в сторону рекуррентных сетей, Recurrent Highway Networks: https://arxiv.org/abs/1607.03474. LSTM networks that are not only long in time but also long in space (per time step). They enable the use of substantially deeper transition architectures than have previously been trained while still maintaining successful backpropagation of the gradient. As a result, it becomes possible to construct powerful and trainable sequential models efficiently.
Работа Neural Generation of Regular Expressions from Natural Language with Minimal Domain Knowledge, http://arxiv.org/abs/1608.03000 показывает, что generic neural architectures for generating regular expressions
outperform customized, heavily engineered models. The results suggest that this technique can be employed to tackle more challenging problems in broader families of formal languages, such as mapping between language description and program scripts. Грань между естественными языками и искусственными потихоньку размывается.
А ещё интересны работы типа "Why Should I Trust you?” Explaining the Predictions of Any Classifier" http://www.kdd.org/kdd2016/subtopic/view/why-should-i-trust-you-explaining-the-predictions-of-any-classifier -- проблема необъяснимости результатов машинного обучения (нейросетей, SVM, любых других алгоритмов). Там предлагается выучивать локально вокруг каждого предсказания хорошо интерпретируемую модель. К этой работе даже рекламный ролик есть, со скрайбингом: мостик в мир попсовых лент о будущем -- https://www.youtube.com/watch?v=hUnRCxnydCc. Содержание там типа "объяснится всё!".
Но что это я всё про машинное обучение? Есть интересности и другого порядка. Вот, например, Towards Visual Type Theory as a Mathematical Tool and Mathematical User Interface -- http://arxiv.org/abs/1608.03026, early-stage project in mathematical knowledge management and mathematical user interface development. Когнитивная психология, наработки Пирса по визуализации логики, математическая память с наблюдениями типа mathematicians rely often on memory mechanisms of the brain other than the ordinary memory system. In particular, they often rely on what we will refer to here as “muscle memory” or “haptical memory”. Units of such haptical memory are produced in the course of problem solving: passing from a question whose answer is not clear prima facie to an answer via logical inference and computation. А дальше предлагается некоторая хитрая математическая нотация, математическое иероглифическое письмо, типа такого:
UPDATE: вот ещё призывы иметь визуальную поддержку математической работы и какая-то библиография в этом направлении -- http://arxiv.org/abs/1608.06349
Дальше можно было бы охарактеризовать какие-то видео с JuliaCon 2016 (уже опубликованы все видео: https://www.youtube.com/playlist?list=PLP8iPy9hna6SQPwZUDtAM59-wPzCPyD_S). И добавить обзорное видео с European Lisp Symposium (хотя это уже была бы не "лента", ибо это аж май 2016), озаглавленная Julia: Lisp or not to Lisp? In the tradition of the great Lisp hackers, this talk include lots of live coding in the REPL, with all the excitement, and possibility of failure entailed. По факту это одна большая демонстрация живого кодирования, завершающаяся приглашением к обсуждению вопроса How Lispy is Julia? Авторы Julia не скрывают, что черпали из Lisp полными ладошками. А если возвращаться к ленте, то там на днях пошла в работу версия 0.6 языка, а в версии 0.5 уже release candidate и потихоньку оседает пыль.
Писать так можно вечно. У меня в OneTab сейчас оказалось 1660 табов, там такого залежи. Но я не журналист, да и читателей у непопсовой ленты явно немного. Пишу для себя, это ж блог "Лабораторный журнал", а не "Тренды и прорывы", всё честно. Так что с этим жанром я частить не буду. Разве что иногда, вечером пятницы, в порядке развлечения.