Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Category:

Вычислительное мышление: пять тем для отслеживания в 2021

Некоторые темы для отслеживания и размышлений на досуге. При этом охотно верю, что у кого-то это идеи для размышления в рабочее время. Вот кто сидит и думает в рабочее время? Прямо так сидит и думает, ибо "у меня такая работа"? На досуге-то это представить легко, а в рабочем кабинете, и чтобы не три минуты, а три часа, не отвлекаясь? Ссылок даю мало, предлагаю время от времени гуглить и находить каждый раз что-нибудь свеженькое при этом -- это и есть "отслеживать".

Ограничимся пока пятью темами, которые абсолютно не исчерпывающи, но указывают на какие-то интересные в 2021 году темы (и сознательно исключим любые выходы в AGI, ограничившись только сугубо вычислительными аспектами AI):

1. Operations research и механизмы внимания, экономика мышления/вычисления:
-- внимание как механизм планирования для загрузки редкого ресурса-вычислителя
-- внимание может быть многоуровневым (системные уровни) и мультидисциплинарным (inductive bias по дисциплинам)
-- никто не сказал, что вычислитель один, а не их ансамбль с оптимизацией по вниманию (и внимание включено в innate priors/"неявное внимание, встроенное в алгоритм" как общим условиям вычисления и inductive bias/"обобщающие предвзятости" как выделяемые вниманием фичи в рамках общих условий).
-- lean вычисления, agile вычисления (вообще, взять всю книжку Reinertsen и сделать наоборот: идеи из операционного менеджмента вернуть в computer science -- ибо книжка Reinertsen сделана как раз обратным способом, идеи из computer science и смежных дисциплин -- в операционный менеджмент).

2. Мультифизическое моделирование.
Тут много самого разного, например differentiable programming как обобщение класса моделей: берём лучшие идеи из deep learning (automatic differentiation, optimization, GPU acceleration) и несём в более широкий класс моделей (не слоёные/глубокие, а произвольные. Типа как вместо языка дифуров системной динамики переходим к произвольным дифурам, как в Modelica). Понятно, что в deep learning рассматриваются универсальные аппроксиматоры, но если хотим объяснения, то лучше бы говорить о других моделях (в том числе получаемых discovering symbolic models методами). И тут же про всякое "другое моделирование", например physics informed neural networks (https://www.youtube.com/watch?v=SEhMWkgcTOI), universal differential equations (https://arxiv.org/abs/2001.04385), NeuralSim (усиление имитационного моделирования нейросетями, https://arxiv.org/abs/2011.04217). Это, конечно, верхушка айсберга. Ещё можно глядеть материалы про digital twins в связи с математикой и computational/computer science-- https://ailev.livejournal.com/1549559.html

3. Активный вывод и принцип свободной энергии.
Active inference (a first principle account of how autonomous agents operate in dynamic, non-stationary environments, https://arxiv.org/abs/1909.10863) и free energy principle (развивает Karl Friston). И там много чего интересного дальше, например, Narrative as active inference, https://psyarxiv.com/47ub6/, Is the free-energy principle a formal theory of semantics? -- https://arxiv.org/abs/2007.09291.

4. Эпистемология, объяснения
Алгоритмика объяснений -- https://arxiv.org/abs/2102.02201, https://arxiv.org/abs/2012.09318 (объяснения по Дойчу, приложимые к самому AI), математика как вероятностная наука https://arxiv.org/abs/2012.08298 (on our model, whether or not a given formula is deemed a theorem in some axiomatic system is not a matter of certainty, but is instead governed by a probability distribution), символы в связи с поведением, а не вычислениями -- https://arxiv.org/abs/2102.03406, и те самые "обобщающие предвзятости"/inductive biases для познания высокоуровневого мышления -- https://arxiv.org/abs/2102.03406.

5. Неклассические неквантовые вычисления.
Уже выходят статьи типа Quantum Computing without Quantum Computers: Database Search and Data Processing Using Classical Wave Superposition, https://arxiv.org/abs/2012.08401 (in some cases the classical wave-based approach may provide the same speedup in database search as quantum computers), thermodynamics computing https://arxiv.org/abs/1911.01968, и много подобного (особенно много, конечно, занимаются оптическими вычислениями). Хотя это всё сегодня не мейстрим (а мейнстрим сегодня именно "квантовые вычисления", о которых поэтому особо и не пишем, о них напоминать не нужно, они сегодня сами лезут изо всех утюгов), нужно как-то прислеживать, что ещё происходит в области физики для новых типов хардвера. Интерес, конечно, "академический" -- но нам как раз для учебных целей это и нужно, для понимания "вычислений" как таковых.
Subscribe

  • NVIDIA как поставщик вычислительной инфраструктуры, 2021

    Сегодня Jensen Huang выступил с очередными анонсами на GTC 2021, https://youtu.be/eAn_oiZwUXA (с этой презентации только всё началось, там будет ещё…

  • lytdybr

    Лекции по стратегированию записаны, двадцатый поток их уже получил -- там 4 часа 40 минут записи на 54 слайда (суммарно тем самым "системный…

  • lytdybr

    Слайды короткого курса "Стратегирование 2021" почти готовы, завтра планирую уже начать записывать видеолекции, они пойдут текущему двадцатому потоку…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 0 comments