Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Categories:

Свежайший обзор идей в deep learning

Свежайший обзор текущего состояния идей в deep learning от Yann LeCun -- https://drive.google.com/file/d/0BxKBnD5y2M8NVHRiVXBnOVpiYUk/view?sle=true

Хорошо видно, как буквально за год изменилось содержание традицинной "большой колоды слайдов" на эти темы. Там многого нет (например, архитектур со вниманием, хотя частично это было затронуто в слайдах с памятью -- но ничего не сказано про внимание как стратегии работы с памятью и внешним потоком).

Ход на гибридные вычисления поддержан в полной мере (это сейчас направление главного удара: полнотьюринговость уже доказана, нужно демонстрировать реализации -- ход на логику в AI с обратной стороны, со "статистической").

В слайдах хорошо видно, что предметная область стала необъятной, архитектур и идей больше, чем рук, которые могут с ними нормально повозиться. Ну, и по факту появилась инфраструктура, доступная малым группам исследователей: все эти покупаемые из магазина дешёвые сверхмощные GPU, софтовые фреймворки с возможностью внятно высокоуровнево описать разные архитектуры и поэкспериментировать, тестовые огромные наборы данных, согласованные критерии для сравнения решений (в том числе и предлагаемые в слайдах тесты для проверки вопросно-ответных систем из конца презентации).

Ах, в какое время мы живём! Это всё явно не хуже квантовой революции в физике, которая была примерно сто лет назад. Мы этой революции свидетели, и даже совсем чуть-чуть участники!

Почему-то именно сюда хочется добавить ещё одну ссылку: meetup московской группы Do-It-Yourself биологии. Если кому-то хочется в домашних условиях в Москве заняться биохакингом, то вам сюда: http://www.meetup.com/Moscow-DIYBio/.
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments