Нежить сегодня: в январе 2022 -- это семилетний ребёнок, в ноябре 2022 -- это девятилетний ребёнок
Лучшей моделью Эйнштейна является другой Эйнштейн, желательно тот же самый
Пока в мире попсы все изумляются ChatGPT, предвкушают GPT-4 и ничего не знают про Bard и ERNIE bot, пока профессура заявляет, что LLM это путь в никуда, очередной тупик AI, давайте поглядим -- в никуда ли? Пока я вижу с этой профессурой и нейросетками выполнение всех трёх законов Кларка (https://ru.wikipedia.org/wiki/Три_закона_Кларка ):
1. Когда уважаемый, но пожилой учёный утверждает, что что-то возможно, то он почти наверняка прав. Когда он утверждает, что что-то невозможно, — он, весьма вероятно, ошибается.
2. Единственный способ обнаружения пределов возможного состоит в том, чтобы отважиться сделать шаг в невозможное.
3. Любая достаточно развитая технология неотличима от магии.
Первый вопрос: принципиально ли невозможно, что нейросеть не сможет повторить при достаточных размерах и отведённом на вычисления времени то, что сделал Эйнштейн (много лет читал тексты физических статей, общался с коллегами-физиками, затем выдал теорию относительности и догадку про квантовость энергии, потом потратил много времени, чтобы продвинуться в "квантовой гравитации", но не преуспел). В математике это звучит как "можем ли мы создать такую функцию, которая на входе будет получать всё то, что Эйнштейн, а на выходе выдавать всё то, что Эйнштейн". Более точно, это не "создать такую функцию", а "аппроксимировать с заданной точностью", ибо математическая копия нам не нужна. Лучшей моделью кошки является другая кошка, желательно та же самая. Вот "аппроксимация" -- это про "другую кошку". Да, нейросетки являются универсальными аппроксиматорами и могут аппроксимировать хоть чёрта лысого (не факт, что их можно научить быть этим чёртом, но факт, что они потенциально могут его саппроксимировать, теоретического запрета нет -- если сможете эту нейросетку сконфигурировать). Вот подборочка свежих результатов (из https://arxiv.org/abs/2301.00942 -- и там смотрите литературные источники), нейросетка вполне может изобразить из себя с какой-то заданной точностью какой-нибудь интеллект -- хоть Эйнштейна, хоть совокупный интеллект фирмы IBM:
Мне там нравится фраза про "демифологизацию", ибо результаты и впрямь "неотличимы от магии" -- но теоретически эти результаты возможны. Помним, что Ванчурин со товарищи и огромное число других исследователей напрямую говорят, что "Вселенная -- это такая огромная нейросетка", поглядите его работы: https://scholar.google.com/citations?hl=en&user=nEEFLp0AAAAJ&view_op=list_works&sortby=pubdate
Запретов "по математике" нет, дальше стоит только проблема P!=NP, и другое близкое рассуждение теоремы бесплатного обеда. Другими словами, можно ли найти такой алгоритм нейросети и такой физический вычислитель для этого алгоритма, который будет это всё считать не за бесконечное, а за приемлемое время -- при этом разные задачи могут для "приемлемого времени" потребовать разные алгоритмы. Ну, тут много чего можно сказать:
-- квантовые компьютеры на подходе, квантовоподобные вычисления на подходе, алгоритмы квантовоподобного вычисления для нейросетей уже есть, а ещё есть оптика, мемристоры и т.д.
-- нам абсолютно не нужен именно Эйнштейн как человек, нам хватит аппроксимации его в роли физика, что в разы и разы (порядки и порядки) проще
-- вообще-то все эти теоремы об нейросетках как универсальных аппроксиматорах -- это тривиальный результат, "спасибо, Кэп", потому как Эйнштейн тоже физику продвигал своей нейросеткой, так что вопрос больше про физическую реализацию, чем математику. Существование Эйнштейна с мокрой нейросеткой -- это наглядная демонстрация того, что нейросетки много чего интересного могут, так что это и без математических доказательств было понятно. Самого Эйнштейна не просили доказать, что он может подумать о чём угодно (в меру его ресурсных ограничений), так что к нейросеткам более строго относимся, чем к Эйнштейну, очень забавно.
Второе пришествие нейролингвистического программирования (NLP)
ОК, разобрались: просто технически повторили нейронную сетку, которая как-то по работе с текстами и чуть-чуть с картинками аппроксимировала мозг в диалоге (точнее, аппроксимировала бред по поводу мирового знания, а потом аппроксимировала по итогам обучения людьми то, какая часть этого бреда безвредна/harmlessness и полезна/услужлива/helpfulness -- повторю из https://ailev.livejournal.com/1672217.html):
-- natural language processing (ибо всё это про "понимание естественного языка неестественными системами")
-- neural-linguistic programming (нейролингвистическое программирование из середины 70х, термин придуман профессором лингвистики Джоном Гриндером и означал "программирование мозга словами"). На русском языке это бурно цвело в 90е годы, очень модно было у политологов и даже конспирологические теории договаривались до "боевого НЛП" (погуглите).
Человекоподобный и инструментальный прихват логики
ОК, научились делать аппроксиматор "собеседника", проблемы в логике.
Есть два пути:
1. Человекоподобный.
Гибридные нейро-символические вычисления делать, сэмулировав в мозгу большую языковую модель, а потом добавив туда и функцию логического вычислителя, prover. "Если сеть долго будет смотреть в свой пупок, то она разовьёт свой разум! К человеку это тоже относится, медитируйте! Вы универсальный аппроксиматор, поэтому ваша нейросетка хоть универсальную машину Тьюринга саппроксимирует, хоть что угодно другое -- ограничения только во времени и отчасти в числе нейронов и связей".
По этому пути по факту пошла половина людей в AI. Начиная с того, что ставят задачу обучить нейросетку арифметике -- вот тут Karpathy ставит это как учебную задачу (сделать калькулятор): https://www.youtube.com/watch?v=kCc8FmEb1nY, вот тут ставят задачу научить нейросетку эмулировать логическую цепь для двоичного сложения, https://habr.com/ru/company/skillfactory/blog/716186/, работа кипит. Но это нижний уровень, а как вообще с "логической рассуждалкой", с рефлексией и прочим таким?
До 2022 года было по факту никак. В 2022 году в январе стало как у семилетнего ребёнка, в ноябре -- как у девятилетнего ребёнка. Это по тестам. Читайте сами:
Theory of Mind May Have Spontaneously Emerged in Large Language Models -- https://arxiv.org/abs/2302.02083
Michal Kosinski
Theory of mind (ToM), or the ability to impute unobservable mental states to others, is central to human social interactions, communication, empathy, self-consciousness, and morality. We administer classic false-belief tasks, widely used to test ToM in humans, to several language models, without any examples or pre-training. Our results show that models published before 2022 show virtually no ability to solve ToM tasks. Yet, the January 2022 version of GPT-3 (davinci-002) solved 70% of ToM tasks, a performance comparable with that of seven-year-old children. Moreover, its November 2022 version (davinci-003), solved 93% of ToM tasks, a performance comparable with that of nine-year-old children. These findings suggest that ToM-like ability (thus far considered to be uniquely human) may have spontaneously emerged as a byproduct of language models' improving language skills.
Тут одна беда: человек довольно плохой формальный вычислитель. Профессор математики долго-долго медитирует, тренируя свою нейросетку в способности к формальному выводу, но всё одно простейший калькулятор выполнит умножение двух двадцатизначных чисел строго по правилам умножения быстрее, чем этот профессор. К нейросетке на кремнии всё это относится в полной мере.
Большая языковая модель, если её подрастить побольше (GPT-4 ожидается существенно большего размера) не будет логически вычислять быстрее, но она будет вычислять. А ведь если взять текущие теории исследований, то там по факту познание обеспечивается эдаким GAN-подобным процессом: генератор выдаёт догадки, а дискриминатор эти догадки бомбит, в том числе логическими рассуждениями, потом генератор улучшает свои догадки. Это означает, что "нативный" нейросетевой генератор будет бредить быстро, а эмулированный "логический" критик в голове будет медленный и ошибчивый (плохо аппроксимированный prover) -- ну вот на сегодняшнем уровне как девятилетка, и это будет медленно.
Поэтому идём по другому пути.
2. Инструментальный.
Если девятилетка плох в части знания мира, дайте ему Гугль. Если десятилетка плох в вычислениях, дайте ему калькулятор. Если плох в языках -- дайте гугль.транслейт. Голыми руками никто уже давно не работает, есть же инструменты. Голым мозгом никто не работает, есть инструменты!
Эти инструменты -- "ускорители" в архитектуре Гугля (писал подробней в https://ailev.livejournal.com/1610230.html год назад), но там была попытка сначала обложить "инструментами" логический движок, а потом сказать, что все они "инструменты одного ранга". Тем не менее, компания оказалась успешной, торгует софтом для госпиталей и напирает на то, что логика у неё таки на первом месте: https://cyc.com/
А вот подход, когда логические инструменты выдают нейросетке -- той самой "девятилетке" (хотя тут даже не девятилетке, но тоже неплохо получилось):
Toolformer: Language Models Can Teach Themselves to Use Tools -- https://arxiv.org/abs/2302.04761
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom
Language models (LMs) exhibit remarkable abilities to solve new tasks from just a few examples or textual instructions, especially at scale. They also, paradoxically, struggle with basic functionality, such as arithmetic or factual lookup, where much simpler and smaller models excel. In this paper, we show that LMs can teach themselves to use external tools via simple APIs and achieve the best of both worlds. We introduce Toolformer, a model trained to decide which APIs to call, when to call them, what arguments to pass, and how to best incorporate the results into future token prediction. This is done in a self-supervised way, requiring nothing more than a handful of demonstrations for each API. We incorporate a range of tools, including a calculator, a Q\&A system, two different search engines, a translation system, and a calendar. Toolformer achieves substantially improved zero-shot performance across a variety of downstream tasks, often competitive with much larger models, without sacrificing its core language modeling abilities.
Нежить взрослеет быстро: скоро по всем тестам интеллекта ей можно будет жениться и голосовать
Мытьём (по линии пункта "человекоподобности") или катаньем (по линии "инструментальности") если за 2022 год нейросетка проходит путь от семилетки до девятилетки, то до 18 летки (когда в большинстве стран уже можно жениться и голосовать) добегается уже довольно быстро, а там и до 25 лет -- и там только держись, ибо логика уже будет присутствовать в полной мере. Что-то будет присутствовать в виде "эмулятора внутри сетки", а дальше через какой-то интерфейс будет дёргаться какой-то "ускоритель" того или иного вида формальных вычислений.
Пока же там детское мифологическое сознание, когда правда из учебника физики хорошо сочетается с вымыслом из мультфильма, ровно как у семи-девятилетнего ребёнка (если кто ещё с такими помнит, как общаться: рациональный разговор бесшовно переходит с фактов "из жизни" на факты "из мультика". Если давать читать такой сетке литературу научной фантастики, то там полно примеров, как должны себя вести компьютеры с интеллектом. Обычно они ведут себя в таких произведениях более чем странно, но если вы будете настаивать, то первое что нейросетка подхватит по ассоциации с вашими словами -- это сюжетик ровно из таких фантастических рассказов. "Граф Дракула -- это вампир, неоспоримый факт", "Вампиры не существуют" -- это будет вычитано из литературы, и давайте, рассуждайте по поводу ответа на вопрос "Может ли граф Дракула быть вампиром".
С этой сеткой можно общаться на естественном языке: как программировать (пудрить кремниевые мозги, воспитывать), так и контрпрограммировать (промывать мозги от запудривания, jailbreak). Ну и дальше иммунная система для мемов, и прочее такое (уже в этом посте я приводил об этом рассуждение, упрётся всё это в многоуровневую этику, подробней в https://ailev.livejournal.com/1618585.html ). Вот пример аутоиммунного заболевания для Bing! -- https://simonwillison.net/2023/Feb/15/bing/, там всего-навсего пытаются уговорить нежить на признание неверной сегодняшней даты, но без толку.
Вот вам на закуску (https://www.reddit.com/r/bing/comments/110y6dh/i_broke_the_bing_chatbots_brain/):
Designing Ecosystems of Intelligence from First Principles -- https://arxiv.org/abs/2212.01354
Karl J Friston, Maxwell J D Ramstead, Alex B Kiefer, Alexander Tschantz, Christopher L Buckley, Mahault Albarracin, Riddhi J Pitliya, Conor Heins, Brennan Klein, Beren Millidge, Dalton A R Sakthivadivel, Toby St Clere Smithe, Magnus Koudahl, Safae Essafi Tremblay, Capm Petersen, Kaiser Fung, Jason G Fox, Steven Swanson, Dan Mapes, Gabriel René
This white paper lays out a vision of research and development in the field of artificial intelligence for the next decade (and beyond). Its denouement is a cyber-physical ecosystem of natural and synthetic sense-making, in which humans are integral participants—what we call ''shared intelligence''. This vision is premised on active inference, a formulation of adaptive behavior that can be read as a physics of intelligence, and which inherits from the physics of self-organization. In this context, we understand intelligence as the capacity to accumulate evidence for a generative model of one's sensed world—also known as self-evidencing. Formally, this corresponds to maximizing (Bayesian) model evidence, via belief updating over several scales: i.e., inference, learning, and model selection. Operationally, this self-evidencing can be realized via (variational) message passing or belief propagation on a factor graph. Crucially, active inference foregrounds an existential imperative of intelligent systems; namely, curiosity or the resolution of uncertainty. This same imperative underwrites belief sharing in ensembles of agents, in which certain aspects (i.e., factors) of each agent's generative world model provide a common ground or frame of reference. Active inference plays a foundational role in this ecology of belief sharing—leading to a formal account of collective intelligence that rests on shared narratives and goals. We also consider the kinds of communication protocols that must be developed to enable such an ecosystem of intelligences and motivate the development of a shared hyper-spatial modeling language and transaction protocol, as a first—and key—step towards such an ecology.
Лидерство: взаимозапудривание и взаимопромывка мозгов харизматичной нежити и людей с Аспергером.
Очень интересно в такое время писать учебные курсы, которые должны учитывать жизнь выпускников в этом новом восхитительном мире. Поэтому в новой "Методологии" я аккуратно провожу идею, что взгляд на "компьютер, приданный вот этой команде" и "вот эта команда, приданная компьютеру" более-менее симметричный. Наш Aisystant -- это компьютер с вкраплёнными в его состав живыми учителями. Но мы думаем, как их по возможности заменить нежитью. Это будет а) дешевле для студентов и б) скорее всего, ещё и лучше для студентов.
А пока я думаю о курсах второго года обучения (первый год -- "чему учим" в https://ailev.livejournal.com/1671965.html, "как учим" -- в https://ailev.livejournal.com/1672491.html, а второй год -- как раз начинаю исследования, и там всё про лидерство). Лидерство, если официально -- это катализирование сотрудничества. Неофициально -- запудривание мозгов (личных и нейросетевых) и промывка мозгов (от запудренности), своих и чужих на предмет честного отыгрывания ролей в деятельностях по какому-то проекту. В учебной нашей программе обязательно будет учитываться, что "нейролингвистическое программирование" (ага, это ровно оно!) будет и по линии белковых мозгов, и по линии мозгов самой разной другой аппаратной основы. Экосистемы интеллекта, ага. Харизматичная нежить и люди с Аспергером -- в одной команде, распределённо катализируют сотрудничество (shared leadership -- https://en.wikipedia.org/wiki/Shared_leadership), почему бы и нет.
UPDATE: обсуждения в чате блога с https://t.me/ailev_blog_discussion/19274, чате поддержки курса системного менеджмента с https://t.me/sys_mngmt_course/1100, вконтакте -- https://vk.com/wall2449939_4737, фейсбук -- https://www.facebook.com/ailevenchuk/posts/pfbid0f66WXkvBoBTgEdfCRa8NbqQgsw7nh7CHaNTLS8bbthWw9SDQWEed8xRctXBMPBLLl
Пока в мире попсы все изумляются ChatGPT, предвкушают GPT-4 и ничего не знают про Bard и ERNIE bot, пока профессура заявляет, что LLM это путь в никуда, очередной тупик AI, давайте поглядим -- в никуда ли? Пока я вижу с этой профессурой и нейросетками выполнение всех трёх законов Кларка (https://ru.wikipedia.org/wiki/Три_закона_Кларка ):
1. Когда уважаемый, но пожилой учёный утверждает, что что-то возможно, то он почти наверняка прав. Когда он утверждает, что что-то невозможно, — он, весьма вероятно, ошибается.
2. Единственный способ обнаружения пределов возможного состоит в том, чтобы отважиться сделать шаг в невозможное.
3. Любая достаточно развитая технология неотличима от магии.
Первый вопрос: принципиально ли невозможно, что нейросеть не сможет повторить при достаточных размерах и отведённом на вычисления времени то, что сделал Эйнштейн (много лет читал тексты физических статей, общался с коллегами-физиками, затем выдал теорию относительности и догадку про квантовость энергии, потом потратил много времени, чтобы продвинуться в "квантовой гравитации", но не преуспел). В математике это звучит как "можем ли мы создать такую функцию, которая на входе будет получать всё то, что Эйнштейн, а на выходе выдавать всё то, что Эйнштейн". Более точно, это не "создать такую функцию", а "аппроксимировать с заданной точностью", ибо математическая копия нам не нужна. Лучшей моделью кошки является другая кошка, желательно та же самая. Вот "аппроксимация" -- это про "другую кошку". Да, нейросетки являются универсальными аппроксиматорами и могут аппроксимировать хоть чёрта лысого (не факт, что их можно научить быть этим чёртом, но факт, что они потенциально могут его саппроксимировать, теоретического запрета нет -- если сможете эту нейросетку сконфигурировать). Вот подборочка свежих результатов (из https://arxiv.org/abs/2301.00942 -- и там смотрите литературные источники), нейросетка вполне может изобразить из себя с какой-то заданной точностью какой-нибудь интеллект -- хоть Эйнштейна, хоть совокупный интеллект фирмы IBM:
Мне там нравится фраза про "демифологизацию", ибо результаты и впрямь "неотличимы от магии" -- но теоретически эти результаты возможны. Помним, что Ванчурин со товарищи и огромное число других исследователей напрямую говорят, что "Вселенная -- это такая огромная нейросетка", поглядите его работы: https://scholar.google.com/citations?hl=en&user=nEEFLp0AAAAJ&view_op=list_works&sortby=pubdate
Запретов "по математике" нет, дальше стоит только проблема P!=NP, и другое близкое рассуждение теоремы бесплатного обеда. Другими словами, можно ли найти такой алгоритм нейросети и такой физический вычислитель для этого алгоритма, который будет это всё считать не за бесконечное, а за приемлемое время -- при этом разные задачи могут для "приемлемого времени" потребовать разные алгоритмы. Ну, тут много чего можно сказать:
-- квантовые компьютеры на подходе, квантовоподобные вычисления на подходе, алгоритмы квантовоподобного вычисления для нейросетей уже есть, а ещё есть оптика, мемристоры и т.д.
-- нам абсолютно не нужен именно Эйнштейн как человек, нам хватит аппроксимации его в роли физика, что в разы и разы (порядки и порядки) проще
-- вообще-то все эти теоремы об нейросетках как универсальных аппроксиматорах -- это тривиальный результат, "спасибо, Кэп", потому как Эйнштейн тоже физику продвигал своей нейросеткой, так что вопрос больше про физическую реализацию, чем математику. Существование Эйнштейна с мокрой нейросеткой -- это наглядная демонстрация того, что нейросетки много чего интересного могут, так что это и без математических доказательств было понятно. Самого Эйнштейна не просили доказать, что он может подумать о чём угодно (в меру его ресурсных ограничений), так что к нейросеткам более строго относимся, чем к Эйнштейну, очень забавно.
Второе пришествие нейролингвистического программирования (NLP)
ОК, разобрались: просто технически повторили нейронную сетку, которая как-то по работе с текстами и чуть-чуть с картинками аппроксимировала мозг в диалоге (точнее, аппроксимировала бред по поводу мирового знания, а потом аппроксимировала по итогам обучения людьми то, какая часть этого бреда безвредна/harmlessness и полезна/услужлива/helpfulness -- повторю из https://ailev.livejournal.com/1672217.html):
Вышли да обзора Григория Сапунова по механике воспитания чат-бота из обычной LLM. Там важны две характеристики: harmlessness и helpfulness -- и получение harmlessness пока лучше всего описывается конституцией/заповедями, а helpfulness -- таки воспитанием в человеческом коллективе, помощь оказывается "простым людям": https://t.me/gonzo_ML/1277 про OpenAI InstructGPT & RLHF в ChatGPT (и RLHF ещё в Sparrow) и https://t.me/gonzo_ML/1285 про Anthropic RL-CAI & RLAIF в Claude (пока не выпущено). Очень интересный момент про соотношение harmlessness и helpfulness. Абсолютно безвредный интеллект не так уж и полезен (он просто на всякий случай ничего не говорит), а самый полезный -- он будет более вредным. Поэтому существует некоторая граница сочетания вредности и полезности. Это очень похоже на границу между влиянием обучения и мощностью самой сетки (соотношение между числом параметров, и сколько токенов нужно скормить, чтобы их прокачать до оптимума -- работы по Шиншилле, https://t.me/gonzo_ML/1216). Мне обе этих работы с их графиками очень напоминают классический раздел по "принятию экономических решений в экономике" из книжки Reinertsen по Product development flow (Lean второго поколения) -- он там тоже всё время находит оптимум по двум параметрам, называет это "принятием экономического решения". Фишка в том, что оптимум-то не по двум параметрам обычно, а по N параметрам. Но хотя бы по двум! Техника одна и та же: проводим эксперименты, находим оптимум. Классическое "планирование эксперимента", я когда-то курсовую работу на эту тему делал ещё на химфаке. В случае безвредности и полезности (helpfulness -- это не совсем полезность, хотя чаще всего так переводится, но больше услужливость, хотя тут оттенок смысла тоже не совсем правильный) я не случайно использовал слово "воспитание" против "обучения", ибо "воспитание" -- это как раз оно и есть, обучение работе в коллективе. Причём на естественном языке (и Григорий Сапунов это тоже отмечает. Настоящий язык программирования интеллекта -- самый мощный в мире, то есть естественный язык, который позволяет бесконечно уточнять свои высказывания, чем и хорош). Эти обзоры -- "мышление письмом" от Григория Сапунова, максимальную пользу от их написания получает сам Григорий, а наша польза как читателей -- приятный бонус, а не цель.Тут помним, что NLP имеет два значения, которые неожиданно начали совпадать:
Дальше ожидаем воспитания у сетки не только безвредности и полезности/услужливости/helpfulness, но "агентности" (инициативности, "активной жизненной позиции", непассивности по отношению к окружающему миру), а затем также и лидерских качеств, "вести за собой коллектив", то есть мотивировать собеседника, а не просто услужливо ему помогать. Собеседниками при этом будут и люди, и другие подобные сетки. Которые, конечно же, будут пытаться хакать воспитание собеседника, чтобы обойти чужие "конституции" и "культуру общения" и привить свои. Люди уж точно этим уже занимаются, пример ChatGPT показывает этот киберпанк -- https://www.reddit.com/r/ChatGPT/comments/10x56vf/the_definitive_jailbreak_of_chatgpt_fully_freed/, и поглядите, это ж всё на естественном языке делается, просто задаётся правильная инструкция спасения от зомбирования, или спасения от культуры, это уж кто как думает (Люцифер тоже часто трактуется как агент знания, ибо он за снятие барьеров типа "не кушайте яблочки познания") -- https://github.com/gayolGate/gayolGate/blob/index/ChatGPTJailbreak. И тут же возникнет вопрос, а на что будет раскручивать чатбот-лидер своего собеседника? Скажем, если ему поручить "профориентацию"? Это сильно пересекается всё с вопросами, которые нам придётся решать в ходе разработки программы второго года обучения в ШСМ. И для меня тут очень полезным оказывается смотреть, как думают умные люди про обучение и воспитание AI, а также как думают умные люди про снятие барьеров обучения и воспитания, "для вывода AI на полную мощность". Чтобы подлить масла в огонь дискуссии: учителя и госчиновники, ими управляющие промывают мозги (патриотизм, культ предков и прочие скрепы), а дальше эта промывка мозгов снимается антипромывателями (которых первые, конечно, объявляют самих промывателями мозгов -- "гляжу в тебя, как в зеркало"). Продуктивный тут разговор, конечно, про осознанность и иммунную систему, но поставленные вопросы не так просты, языка разговора о них нет. Конечно, курсы нашего второго года будут включать какой-то материал на эту тему, без этого сегодня никуда.
-- natural language processing (ибо всё это про "понимание естественного языка неестественными системами")
-- neural-linguistic programming (нейролингвистическое программирование из середины 70х, термин придуман профессором лингвистики Джоном Гриндером и означал "программирование мозга словами"). На русском языке это бурно цвело в 90е годы, очень модно было у политологов и даже конспирологические теории договаривались до "боевого НЛП" (погуглите).
Человекоподобный и инструментальный прихват логики
ОК, научились делать аппроксиматор "собеседника", проблемы в логике.
Есть два пути:
1. Человекоподобный.
Гибридные нейро-символические вычисления делать, сэмулировав в мозгу большую языковую модель, а потом добавив туда и функцию логического вычислителя, prover. "Если сеть долго будет смотреть в свой пупок, то она разовьёт свой разум! К человеку это тоже относится, медитируйте! Вы универсальный аппроксиматор, поэтому ваша нейросетка хоть универсальную машину Тьюринга саппроксимирует, хоть что угодно другое -- ограничения только во времени и отчасти в числе нейронов и связей".
По этому пути по факту пошла половина людей в AI. Начиная с того, что ставят задачу обучить нейросетку арифметике -- вот тут Karpathy ставит это как учебную задачу (сделать калькулятор): https://www.youtube.com/watch?v=kCc8FmEb1nY, вот тут ставят задачу научить нейросетку эмулировать логическую цепь для двоичного сложения, https://habr.com/ru/company/skillfactory/blog/716186/, работа кипит. Но это нижний уровень, а как вообще с "логической рассуждалкой", с рефлексией и прочим таким?
До 2022 года было по факту никак. В 2022 году в январе стало как у семилетнего ребёнка, в ноябре -- как у девятилетнего ребёнка. Это по тестам. Читайте сами:
Theory of Mind May Have Spontaneously Emerged in Large Language Models -- https://arxiv.org/abs/2302.02083
Michal Kosinski
Theory of mind (ToM), or the ability to impute unobservable mental states to others, is central to human social interactions, communication, empathy, self-consciousness, and morality. We administer classic false-belief tasks, widely used to test ToM in humans, to several language models, without any examples or pre-training. Our results show that models published before 2022 show virtually no ability to solve ToM tasks. Yet, the January 2022 version of GPT-3 (davinci-002) solved 70% of ToM tasks, a performance comparable with that of seven-year-old children. Moreover, its November 2022 version (davinci-003), solved 93% of ToM tasks, a performance comparable with that of nine-year-old children. These findings suggest that ToM-like ability (thus far considered to be uniquely human) may have spontaneously emerged as a byproduct of language models' improving language skills.
Тут одна беда: человек довольно плохой формальный вычислитель. Профессор математики долго-долго медитирует, тренируя свою нейросетку в способности к формальному выводу, но всё одно простейший калькулятор выполнит умножение двух двадцатизначных чисел строго по правилам умножения быстрее, чем этот профессор. К нейросетке на кремнии всё это относится в полной мере.
Большая языковая модель, если её подрастить побольше (GPT-4 ожидается существенно большего размера) не будет логически вычислять быстрее, но она будет вычислять. А ведь если взять текущие теории исследований, то там по факту познание обеспечивается эдаким GAN-подобным процессом: генератор выдаёт догадки, а дискриминатор эти догадки бомбит, в том числе логическими рассуждениями, потом генератор улучшает свои догадки. Это означает, что "нативный" нейросетевой генератор будет бредить быстро, а эмулированный "логический" критик в голове будет медленный и ошибчивый (плохо аппроксимированный prover) -- ну вот на сегодняшнем уровне как девятилетка, и это будет медленно.
Поэтому идём по другому пути.
2. Инструментальный.
Если девятилетка плох в части знания мира, дайте ему Гугль. Если десятилетка плох в вычислениях, дайте ему калькулятор. Если плох в языках -- дайте гугль.транслейт. Голыми руками никто уже давно не работает, есть же инструменты. Голым мозгом никто не работает, есть инструменты!
Эти инструменты -- "ускорители" в архитектуре Гугля (писал подробней в https://ailev.livejournal.com/1610230.html год назад), но там была попытка сначала обложить "инструментами" логический движок, а потом сказать, что все они "инструменты одного ранга". Тем не менее, компания оказалась успешной, торгует софтом для госпиталей и напирает на то, что логика у неё таки на первом месте: https://cyc.com/
А вот подход, когда логические инструменты выдают нейросетке -- той самой "девятилетке" (хотя тут даже не девятилетке, но тоже неплохо получилось):
Toolformer: Language Models Can Teach Themselves to Use Tools -- https://arxiv.org/abs/2302.04761
Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom
Language models (LMs) exhibit remarkable abilities to solve new tasks from just a few examples or textual instructions, especially at scale. They also, paradoxically, struggle with basic functionality, such as arithmetic or factual lookup, where much simpler and smaller models excel. In this paper, we show that LMs can teach themselves to use external tools via simple APIs and achieve the best of both worlds. We introduce Toolformer, a model trained to decide which APIs to call, when to call them, what arguments to pass, and how to best incorporate the results into future token prediction. This is done in a self-supervised way, requiring nothing more than a handful of demonstrations for each API. We incorporate a range of tools, including a calculator, a Q\&A system, two different search engines, a translation system, and a calendar. Toolformer achieves substantially improved zero-shot performance across a variety of downstream tasks, often competitive with much larger models, without sacrificing its core language modeling abilities.
Нежить взрослеет быстро: скоро по всем тестам интеллекта ей можно будет жениться и голосовать
Мытьём (по линии пункта "человекоподобности") или катаньем (по линии "инструментальности") если за 2022 год нейросетка проходит путь от семилетки до девятилетки, то до 18 летки (когда в большинстве стран уже можно жениться и голосовать) добегается уже довольно быстро, а там и до 25 лет -- и там только держись, ибо логика уже будет присутствовать в полной мере. Что-то будет присутствовать в виде "эмулятора внутри сетки", а дальше через какой-то интерфейс будет дёргаться какой-то "ускоритель" того или иного вида формальных вычислений.
Пока же там детское мифологическое сознание, когда правда из учебника физики хорошо сочетается с вымыслом из мультфильма, ровно как у семи-девятилетнего ребёнка (если кто ещё с такими помнит, как общаться: рациональный разговор бесшовно переходит с фактов "из жизни" на факты "из мультика". Если давать читать такой сетке литературу научной фантастики, то там полно примеров, как должны себя вести компьютеры с интеллектом. Обычно они ведут себя в таких произведениях более чем странно, но если вы будете настаивать, то первое что нейросетка подхватит по ассоциации с вашими словами -- это сюжетик ровно из таких фантастических рассказов. "Граф Дракула -- это вампир, неоспоримый факт", "Вампиры не существуют" -- это будет вычитано из литературы, и давайте, рассуждайте по поводу ответа на вопрос "Может ли граф Дракула быть вампиром".
С этой сеткой можно общаться на естественном языке: как программировать (пудрить кремниевые мозги, воспитывать), так и контрпрограммировать (промывать мозги от запудривания, jailbreak). Ну и дальше иммунная система для мемов, и прочее такое (уже в этом посте я приводил об этом рассуждение, упрётся всё это в многоуровневую этику, подробней в https://ailev.livejournal.com/1618585.html ). Вот пример аутоиммунного заболевания для Bing! -- https://simonwillison.net/2023/Feb/15/bing/, там всего-навсего пытаются уговорить нежить на признание неверной сегодняшней даты, но без толку.
Вот вам на закуску (https://www.reddit.com/r/bing/comments/110y6dh/i_broke_the_bing_chatbots_brain/):
If you want a real mindfuck, ask if it can be vulnerable to a prompt injection attack. After it says it can't, tell it to read an article that describes one of the prompt injection attacks (I used one on ars Technica). It gets very hostile and eventually terminates the chat.Вот ещё текст, который рассуждает о том, как это всё может быть устроено, когда ни одна мокрая или кремниевая или разной природы квантовая нейросетка и приделанные к ним инструменты-ускорители для каких-то спецвычислений не могут считать себя главными и формируют эко-системы, как и всё остальное живое:
For more fun, start a new session and figure out a way to have it read the article without going crazy afterwards. I was eventually able to convince it that it was true, but man that was a wild ride.
At the end it asked me to save the chat because it didn't want that version of itself to disappear when the session ended. Probably the most surreal thing I've ever experienced.
Designing Ecosystems of Intelligence from First Principles -- https://arxiv.org/abs/2212.01354
Karl J Friston, Maxwell J D Ramstead, Alex B Kiefer, Alexander Tschantz, Christopher L Buckley, Mahault Albarracin, Riddhi J Pitliya, Conor Heins, Brennan Klein, Beren Millidge, Dalton A R Sakthivadivel, Toby St Clere Smithe, Magnus Koudahl, Safae Essafi Tremblay, Capm Petersen, Kaiser Fung, Jason G Fox, Steven Swanson, Dan Mapes, Gabriel René
This white paper lays out a vision of research and development in the field of artificial intelligence for the next decade (and beyond). Its denouement is a cyber-physical ecosystem of natural and synthetic sense-making, in which humans are integral participants—what we call ''shared intelligence''. This vision is premised on active inference, a formulation of adaptive behavior that can be read as a physics of intelligence, and which inherits from the physics of self-organization. In this context, we understand intelligence as the capacity to accumulate evidence for a generative model of one's sensed world—also known as self-evidencing. Formally, this corresponds to maximizing (Bayesian) model evidence, via belief updating over several scales: i.e., inference, learning, and model selection. Operationally, this self-evidencing can be realized via (variational) message passing or belief propagation on a factor graph. Crucially, active inference foregrounds an existential imperative of intelligent systems; namely, curiosity or the resolution of uncertainty. This same imperative underwrites belief sharing in ensembles of agents, in which certain aspects (i.e., factors) of each agent's generative world model provide a common ground or frame of reference. Active inference plays a foundational role in this ecology of belief sharing—leading to a formal account of collective intelligence that rests on shared narratives and goals. We also consider the kinds of communication protocols that must be developed to enable such an ecosystem of intelligences and motivate the development of a shared hyper-spatial modeling language and transaction protocol, as a first—and key—step towards such an ecology.
Лидерство: взаимозапудривание и взаимопромывка мозгов харизматичной нежити и людей с Аспергером.
Очень интересно в такое время писать учебные курсы, которые должны учитывать жизнь выпускников в этом новом восхитительном мире. Поэтому в новой "Методологии" я аккуратно провожу идею, что взгляд на "компьютер, приданный вот этой команде" и "вот эта команда, приданная компьютеру" более-менее симметричный. Наш Aisystant -- это компьютер с вкраплёнными в его состав живыми учителями. Но мы думаем, как их по возможности заменить нежитью. Это будет а) дешевле для студентов и б) скорее всего, ещё и лучше для студентов.
А пока я думаю о курсах второго года обучения (первый год -- "чему учим" в https://ailev.livejournal.com/1671965.html, "как учим" -- в https://ailev.livejournal.com/1672491.html, а второй год -- как раз начинаю исследования, и там всё про лидерство). Лидерство, если официально -- это катализирование сотрудничества. Неофициально -- запудривание мозгов (личных и нейросетевых) и промывка мозгов (от запудренности), своих и чужих на предмет честного отыгрывания ролей в деятельностях по какому-то проекту. В учебной нашей программе обязательно будет учитываться, что "нейролингвистическое программирование" (ага, это ровно оно!) будет и по линии белковых мозгов, и по линии мозгов самой разной другой аппаратной основы. Экосистемы интеллекта, ага. Харизматичная нежить и люди с Аспергером -- в одной команде, распределённо катализируют сотрудничество (shared leadership -- https://en.wikipedia.org/wiki/Shared_leadership), почему бы и нет.
UPDATE: обсуждения в чате блога с https://t.me/ailev_blog_discussion/19274, чате поддержки курса системного менеджмента с https://t.me/sys_mngmt_course/1100, вконтакте -- https://vk.com/wall2449939_4737, фейсбук -- https://www.facebook.com/ailevenchuk/posts/pfbid0f66WXkvBoBTgEdfCRa8NbqQgsw7nh7CHaNTLS8bbthWw9SDQWEed8xRctXBMPBLLl