Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Глубокие леса против глубоких сетей

Я не забыл про искусственый интеллект и deep learning, просто редко пишу. Что там на вторых страницах (http://ailev.livejournal.com/1331687.html) появилось за последнюю неделю? Мне вот приглянулся вот этот текст: Deep Forest: Towards An Alternative to Deep Neural Networks, https://arxiv.org/abs/1702.08835. В тексте ровно то, что в заголовке -- другая математика, результаты сравнимы с результатами для нейронных сетей, но не нужно GPU. И, конечно, многоуровневость, которая оказывается важна. Но не только нейросети могут быть многоуровневы -- In this paper, we propose gcForest (multi-Grained Cascade forest), a novel decision tree ensemble method. This method generates a deep forest ensemble, with a cascade structure which enables gcForest to do representation learning.

Вот обсуждение: https://www.reddit.com/r/MachineLearning/comments/5x4a52/r_deep_forest_towards_an_alternative_to_deep/

Музыка для привлечения внимания -- одна из любимых мной песен Deep Forest, Marta's Song (https://youtu.be/zQEV-XemfcE):

Вот концертное исполнение -- https://youtu.be/EPMma4lGs7k, и песня 1995 года вполне живая, вот исполнение Tóth Lüszi в 2008 году https://youtu.be/CXUv_nHm_bE

Продолжая привлекать внимание, вот Deep Forest на нейронном радио: http://www.neuronradio.net/songinfo.php?songid=15716 (увы, там только за деньги!)

Не то чтобы я верил в то, что все резко побегут из глубоких сетей в эти глубокие леса (хотя некоторые уже собираются бежать, но очень вяло -- https://github.com/Microsoft/LightGBM/issues/331), но мне само это направление мысли на развитие разных форм representation learning очень нравится. Ибо теорема бесплатного обеда говорит, что всех интеллектуальных задач нейронными сетями эффективно не решишь, нужно разнообразие "универсальных аппроксиматоров", которые одинаково универсальны, но по-разному эффективны на разных типах задач, и об этом забывать не нужно. Собственно, обсуждение в reddit примерно это и говорит: "леса всегда были круче нейронных сетей, если речь не идёт о видео -- и эта работа из той же серии, ничего в ней особенного нет". С другой стороны, автор там один из самых рейтинговых спецов по машинному обучению в Китае, и для "ничего особенного" статья делает слишком программные заявления. Так что я ожидал бы какого-то продолжения.

Ну всё, вот вам теперь картинка Deep Forest для отвлечения внимания: https://www.reddit.com/r/creepy/comments/5redk9/deep_forest/ (картинка там кликабельна, комментов уже 403 штуки, и хотел бы я, чтобы так активно алгоритмы обсуждались!).
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments