Ограничимся пока пятью темами, которые абсолютно не исчерпывающи, но указывают на какие-то интересные в 2021 году темы (и сознательно исключим любые выходы в AGI, ограничившись только сугубо вычислительными аспектами AI):
1. Operations research и механизмы внимания, экономика мышления/вычисления:
-- внимание как механизм планирования для загрузки редкого ресурса-вычислителя
-- внимание может быть многоуровневым (системные уровни) и мультидисциплинарным (inductive bias по дисциплинам)
-- никто не сказал, что вычислитель один, а не их ансамбль с оптимизацией по вниманию (и внимание включено в innate priors/"неявное внимание, встроенное в алгоритм" как общим условиям вычисления и inductive bias/"обобщающие предвзятости" как выделяемые вниманием фичи в рамках общих условий).
-- lean вычисления, agile вычисления (вообще, взять всю книжку Reinertsen и сделать наоборот: идеи из операционного менеджмента вернуть в computer science -- ибо книжка Reinertsen сделана как раз обратным способом, идеи из computer science и смежных дисциплин -- в операционный менеджмент).
2. Мультифизическое моделирование.
Тут много самого разного, например differentiable programming как обобщение класса моделей: берём лучшие идеи из deep learning (automatic differentiation, optimization, GPU acceleration) и несём в более широкий класс моделей (не слоёные/глубокие, а произвольные. Типа как вместо языка дифуров системной динамики переходим к произвольным дифурам, как в Modelica). Понятно, что в deep learning рассматриваются универсальные аппроксиматоры, но если хотим объяснения, то лучше бы говорить о других моделях (в том числе получаемых discovering symbolic models методами). И тут же про всякое "другое моделирование", например physics informed neural networks (https://www.youtube.com/watch?v=SEhMWkgcTOI), universal differential equations (https://arxiv.org/abs/2001.04385), NeuralSim (усиление имитационного моделирования нейросетями, https://arxiv.org/abs/2011.04217). Это, конечно, верхушка айсберга. Ещё можно глядеть материалы про digital twins в связи с математикой и computational/computer science-- https://ailev.livejournal.com/1549559.html
3. Активный вывод и принцип свободной энергии.
Active inference (a first principle account of how autonomous agents operate in dynamic, non-stationary environments, https://arxiv.org/abs/1909.10863) и free energy principle (развивает Karl Friston). И там много чего интересного дальше, например, Narrative as active inference, https://psyarxiv.com/47ub6/, Is the free-energy principle a formal theory of semantics? -- https://arxiv.org/abs/2007.09291.
4. Эпистемология, объяснения
Алгоритмика объяснений -- https://arxiv.org/abs/2102.02201, https://arxiv.org/abs/2012.09318 (объяснения по Дойчу, приложимые к самому AI), математика как вероятностная наука https://arxiv.org/abs/2012.08298 (on our model, whether or not a given formula is deemed a theorem in some axiomatic system is not a matter of certainty, but is instead governed by a probability distribution), символы в связи с поведением, а не вычислениями -- https://arxiv.org/abs/2102.03406, и те самые "обобщающие предвзятости"/inductive biases для познания высокоуровневого мышления -- https://arxiv.org/abs/2102.03406.
5. Неклассические неквантовые вычисления.
Уже выходят статьи типа Quantum Computing without Quantum Computers: Database Search and Data Processing Using Classical Wave Superposition, https://arxiv.org/abs/2012.08401 (in some cases the classical wave-based approach may provide the same speedup in database search as quantum computers), thermodynamics computing https://arxiv.org/abs/1911.01968, и много подобного (особенно много, конечно, занимаются оптическими вычислениями). Хотя это всё сегодня не мейстрим (а мейнстрим сегодня именно "квантовые вычисления", о которых поэтому особо и не пишем, о них напоминать не нужно, они сегодня сами лезут изо всех утюгов), нужно как-то прислеживать, что ещё происходит в области физики для новых типов хардвера. Интерес, конечно, "академический" -- но нам как раз для учебных целей это и нужно, для понимания "вычислений" как таковых.