Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Петафлопсы философии языка

Вот как выглядит современная автоматизированная онтологическая работа: логика первого порядка + байесовские вероятности + посылка открытого мира + оформление всего этого в специализированном языке программирования BLOG (Bayesian Logic, https://bayesianlogic.github.io/) = всякие трюки типа completely unsupervised text understanding. Вот тут: http://www.ds3-datascience-polytechnique.fr/wp-content/uploads/2017/08/2017_08_30_1130-1230_Stuart_Russell_OpenUniverse.pdf Это работы того же Stuart Russel, который соавтор в Russel, Norvig последнем классическом учебнике по AI. Все вебсайты там какие-то дохлые (жизнь остановилась в 2014, наверное какой-то грант кончился), а свежее у него тут: https://arxiv.org/find/cs/1/au:+Russell_S/0/1/0/all/0/1.

Это всё по линии lesswrong, только не на уровне блог-постов, бла-бла-бла в комьюнити и таблиц "ошибок мышления", а нормальный такой формальный хардкор -- ровно то, что в пределе хочет (но не может) тусовка рациональщиков. И у меня нет ощущения, что жизнь пойдёт этим формально-вероятностно-логически-онтологическим путём a la Russel сотоварищи, хотя все слова совпадают: логика, рациональность, посылка открытого мира (онтология). Ибо таких работ сейчас появляется некоторое количество, и многие из них попроще устроены, но дают сравнимые результаты.

Ещё я узнал о семинаре, где в Москве всё подобное обсуждают философы, это в ВШЭ-факультет гуманитарных наук -- Школа философии -- группа "Формальная философия", с 2017 эта группа работает над проектом "Динамические модели в аналитической метафизике и философии языка": https://phil.hse.ru/form_phil/. Динамическая эпистемическая логика, онтология и логика событий. И, похоже, никакого искусственного интеллекта, несмотря на формализм. То есть философия формальная, но не такая формальная, как у Stuart Russel, модели не компьютерные, а для человека. Мне кажется, что из этого тупика маргинальности всё это вытащится через хайп в AI -- и байесовщиной будут заниматься массово, и эпистемологией, и динамическими логиками. Вот сколько народу пришло в AI, процентов десять с этим и столкнутся (а остальные 90% пришедших удовлетворятся классическим deep learning на стандартных фреймворках, не заглядывая в эти все логико-вероятностные дебри).

Я не успеваю читать весь поток литературы по deep learning. Там всё просто кубарем, а на подходе новое поколение аппаратуры -- что только добавит жару. Что-то похожее на 60-е годы в фон-неймановском компьютинге, я об этом уже писал. Вот, например, выход в свет DeepL -- https://www.deepl.com/press.html (они построили 23й в мире по мощности суперкомпьютер для создания системы перевода -- 5.1 petaFLOPS, 5 100 000 000 000 000 floats operations per second), и люди предпочитают их переводы по сравнению с переводами конкурентов как 3:1). “DeepL’s ambitions are not limited to translation,” says Frahling. “Our neural networks have developed a level of text understanding that opens several exciting possibilities.”. То есть петафлопсы философии языка открывают неплохие возможности, мимо всей профессуры, решавшей загадки языка. Вот он, ментальный экскаватор -- модели языка делает компьютер, а не люди с лопатами, тьфу, с карандашами и бумажками. Конечно, humans strike back, хотя и довольно вяло -- вот обзор трендов в сегодняшней компьютерной лингвистике: http://www.abigailsee.com/2017/08/30/four-deep-learning-trends-from-acl-2017-part-1.html, а вот тут тренды в объясняемости (interpretability) и внимании -- http://www.abigailsee.com/2017/08/30/four-deep-learning-trends-from-acl-2017-part-2.html. Вот она, философия. Вот оно, продвижение вперёд. Хотя я знаю политику философов: они обычно приходят задним числом, и говорят, что это всё построено на их мыслях (хотя их самих обычно там и рядом не стояло).

Нужно при этом помнить, что в моменты резких смен технологических платформ могут быть весьма быстрые и драматичные смены лидеров -- в конкурентах тут Гугль, Майкрософт, Фейсбук, и они кажутся незыблемыми сейчас, но таких незыблемых (типа DEC, Compaq, Sun и т.д. в компьтерном мире прошлых лет) мы уже много видели. И это ещё не выстрелили всякие "оптические вычислители" типа http://www.lighton.io/ -- там в мае уже второй прототип сделали http://us14.campaign-archive2.com/?u=701605c9443ad5e332f87331f&id=fa7e303c0b. Да и в классических ускорителях для deep learning жарко: https://www.forbes.com/sites/aarontilley/2017/08/31/ai-chip-cerebras-systems-investment/#158484db1529,

Об этом можно рассказывать часами. Фишка в том, что почему-то от AI массово ожидают, что он быстро-быстро станет AGI. Нет, взрывное развитие коннективистских и байесовских технологий даёт IMHO совсем другое -- там, где раньше копошились пара-тройка невнятных философов, полтора логика и три математика, начинают работать сотни и тысячи свежеобученных математике, логике и отчасти программированию людей, хорошо упакованных вычислительной мощностью. Такого притока мозгов в науки о мышлении ещё не было. И не было экспериментальной проверки (компьютерные эксперименты!) гипотез о мышлении. А сейчас вот оно, происходит. Все эти малочисленные "логико-философские кружки" просто маргинальны по сравнению с тем, что именно в этой области делается сейчас творчеством довольно больших масс в машинном обучении и AI. А результаты затем в виде работающих компьютерных программ быстро-быстро становятся доступными миллиардам людей, прямо у них в карманах -- ибо с интернетом и мобильной связью уже разобрались. И вот уже более-менее сносный переводчик-полиглот лежит у каждого в кармане, и получен этот переводчик мимо работ всей армии философов, занимавшихся сотни лет проблемой языка. И становится этот переводчик ежегодно лучше и лучше, независимо от работ всех этих философов. Вот она, настоящая гуманитарная наука. Вот он, современный эпицентр рациональности.

Некогда обо всём этом писать. Даже некогда читать. У меня открыто пара десятков табов с новинками этой недели -- когда в них вчитываться?! Плюнуть, расслабиться, получать удовольствие.

Вот и вы, развлекитесь, получите удовольствие: получите читалку своим голосом -- https://lyrebird.ai/blog/lyrebird-is-back. Я читалку своим голосом уже получил -- сознательно выбрав плохое качество (для качества получше нужно было зачитать десять минут текста, а это лениво, я зачитал всего минуту). Пару лет назад этого нельзя было представить даже в мечтах. А пока ну очень погано, но бесплатно, крайне быстро получено, и всё-таки как-то работает: https://lyrebird.ai/g/YkUHdcZL. И при этом опубликован ещё более простой и интересный метод голосового синтеза, VoceLoop, так что всё продолжает бурлить и пениться: https://ytaigman.github.io/loop/site/
Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 10 comments