lytdybr
Кирилл Гайдамака выступил на 145 заседании Русского отделения INCOSE с двухчасовым докладом на смерть инженерии требований, видео -- https://t.me/incose_rus/210, аудио https://t.me/incose_rus/211. Как обычно, у меня было довольно много комментариев к докладу. Очень надеюсь, что мы ещё обсудим это в апреле в Бекасово, а потом у него будет доклад на нашей апрельской конференции https://system-school.ru/conf-2023. Тут надо отметить, что примерно в эти дни (17 марта 2009 года) 14 лет назад мы провели первое заседание русского отделения INCOSE, https://incose-ru.livejournal.com/442.html.
Я планирую на конференцию доклад по нашей будущей трёхлетней программе фундаментального образования, уж сколько успею сформулировать к этому моменту. Никак не получается у меня дать хорошее название для этой программы, хотя названия для первого года уже более-менее готовы (тут -- https://ailev.livejournal.com/1677784.html. Первый год: Системный менеджмент и инженерия. Первый семестр: Практики личного и корпоративного моделирования для инженера и менеджера. Второй семестр: Практическое системное мышление для инженера и менеджера). Второй семестр там будет, похоже, "лидерство себя и других". Третий семестр -- аспирантура, "Мышление и деятельность на фронтире". У меня есть несколько конкурирующих названий всей программы, интересно, на какую бы программу пошли учиться будущие директора по развитию сначала фирмы, а потом и эко-системы:
-- Фундаментальное образование для менеджеров и инженеров (пафосно, длинно, немаркетингово, но точно)
-- Организационное развитие для инженеров (честное имя, этому и учим)
-- Мастерство организационного развития для инженеров (добавили, что ещё и выучиваем)
-- Фронтир системного менеджмента и инженерии (с учётом нашей "аспирантуры")
-- Системное мастерство для рабочих и личных проектов (предложил Церен Церенов)
-- Системное лидерство в организационных реформах (это ожидаем по итогам второго года)
-- Современный инженерный менеджмент (помним, что "инженерный менеджмент" по факту не отличается от просто менеджмента в командах инженеров, ну и намёк на SoTA)
-- Системный подход к изменениям в личности, предприятии, сообществе (вроде как теория, но чётко говорим про безмасштабность и системность)
-- ... самое лучше имя ещё не придумано, и может так и остаться непридуманным.
Наконец-то книга "Системный менеджмент 2023" нормально прошла модерацию в Ridero! Внесение изменений в две строчки со словом facebook шло с 17 февраля по 21 марта 2023. Далее текст пойдёт в интернет-магазины, в магазине Ridero книга уже доступна.
В чате блога обсуждали вопрос про "внутренних тренеров" (но и внешних тренеров-консалтеров тоже), как о них думать (с https://t.me/ailev_blog_discussion/19808). Вот мой ответ: мы подробно это рассматриваем в тренинге "Системный менеджмент и стратегирование" (у нас на потоке сейчас есть некоторое количество таких внутренних и внешних тренеров/коучей). По факту это сводится к работе с сообществами и отношение там governance. Это требует некоторого хитрого понимания, как развивать сообщества (ибо тренер не линейный менеджер) и понимания современной структуры управления (это замена так называемой функциональной структуры). Но без прохождения полной линейки наших курсов (этот вопрос разбирается в последнем курсе, в курсе менеджмента) разобраться будет трудно. "Внутренние тренеры" -- это что-то типа project office для помощи проектным менеджерам, когда каждый первый из этих менеджеров не имел ещё сертификатов проектного управляющего. Ну, или офис качества, когда качеством не был ещё озабочен каждый на своём рабочем месте. Тут точно такие же "офисы" и отношение там governance: менторинг в профессии (обучение), а затем надзор — и увольнение, если плохо соблюдают практики, которым их учили. Поэтому литература примерно десятилетней давности "как развернуть проектный офис" — это как раз для вас, только вместо "проектный" поставьте там тот тренинг, который ведут ваши внутренние тренера. Не забудьте зашить полномочия по отслеживанию выполнения практик, которым научили и какое-то влияние на увольнение (тут нужны разумные формулировки, чтобы учитывать интересы линейных начальников — типа "представлять руководству сведения о ненадлежащем выполнении практик"). Но практики моделировать чеклистами, а не регламентами. Про чеклисты как работу с альфами — об этом подробно в новом курсе методологии (и мне часто сейчас говорят, что именно этот короткий курс стал любимым у выпускников).
У Виталия Ванчурина в сообществе идёт неспешливый разговор про "что такое искусство", и я там предлагаю свои и чужие мысли на эту тему -- https://www.facebook.com/groups/2930104110608299/posts/3470688086549896/. Для памяти вот мои реплики (и в них ссылки):
Гертцель продолжает выступать за графы как хорошую среду для сжатой информации: https://twitter.com/bengoertzel/status/1637487144817029121?s=20 -- и я думаю, что в его высказываниях или что-то тривиальное в постановке задачи, или ничего интересного в путях решения. Это Гертцель говорит, что "надо бы что-то цифровое иметь в этом интеллекте, а то не взлетит". Ну да, надо, никто не спорит, речь/язык и гены/мемы. Но дальше идут невнятные идеи про его Atomspace и работу с графами — и единственный аргумент, что "нейронные сети не умеют в цифру" оказывается "нейронные сети не умеют в быструю цифру, у них плохая аппаратура". И не учитываются ходы типа ванчуринского, что "классический компьютер не слишком хорош для нейронных сетей, сделаем другую аппаратуру". А ведь показано многократно, что нейронная сеть вполне в себе внутри работает и с цифрой, это ж универсальный аппроксиматор. Она эту цифру "познаёт", её нет в исходной архитектуре, но в "познавшей мир" сетке цифра есть!
Поизучал довольно много работ по prompt engineering, одна из самых интересных -- это как устроен Codepilot у GitHub, https://thakkarparth007.github.io/copilot-explorer/posts/copilot-internals. Дальше нужно понимать, что LLM становится MLLM, становится умней с эмерджентностью (Codepilot X на базе GPT-4, который как раз сегодня пошёл в technical preview, https://github.com/features/preview/copilot-x), но принцип там, похоже, тот же: хороший промпт даёт максимум контекста, а не просто что-то просит. Хороший промпт говорит, что было, что будет, что требуется, что нужно бы учесть. Я всегда удивлялся, почему люди не сами просят нейрохудожника что-то нарисовать, а почему-то просят ChatGPT сгенерировать prompt, а потом уже дают этот prompt нейрохудожнику. Я сам попробовал, как это работает: работает хорошо! И стало понятно, почему так: ChatGPT делает рендеринг, "разжимает" сжатый prompt, даёт развёрнутый контекст. Я неправильно говорил, что это "налить воды". Нет, это "дополнительно сфокусировать нейросетку на какой-то части ментального пространства, дать дополнительные ниточки". Это деформализация/разжатие/рендеринг/демоделирование -- а потом целевая нейросетка моделирует промпт в латентное представление и демоделирует уже у себя. Грубо говоря, это всё устроено как encoder (познание мира в нейросетку-1, латентное пространство, заодно туда идёт контекст запроса от пользователя) и далее decoder в "цифровой" prompt (всё нейросеть-1), потом этот prompt берёт ещё один encoder-decoder (вторая нейросеть), цепочка GAN. В принципе, пользователь может и сам устроить генерацию хорошего промпта, но для этого нужна насмотренность-начитанность, чтобы попасть в "попсовую/фолк онтологию", которая наверняка будет у целевой нейросети. То есть декодирование первой нейросеткой переводит запрос предметника на более "бытовой" язык и граундит, а вторая нейросетка использует примерно ту же "бытовую" онтологию, почему и результат лучше. Пользователю это может быть трудно, изъясняться заземлённо на народном языке, нужен переводчик-заземлитель -- и какой-нибудь GPT-4 отлично с этим справляется. И дальше можно говорить, что люди нейросемиотически программируются, и про необходимость заземления (мета-моделирование) для конкретного результата и наоборот (милтон-модель) для эффективного "процессного программирования" много рассказывали авторы нейролингвистического программирования, но я бы ещё добавил, что с людьми всё то же самое -- для них промпты (сообщения) должны быть тщательно сконструированы, и это и есть риторика. Можно заново возвращаться к текстам типа https://ailev.livejournal.com/1494762.html (помним, что "схематизацию" мы табуировали! Это очень древний текст). И помним про нейросемиотику.
Любителям этики: попробуйте приложить эти правила к себе, вместо библейских заповедей, всех этих "не убий словесно" и трёх законов робототехники. Вот как выглядит "Конституция Sparrow/Dialog-Prompted Chinchilla", делающая нейросетку "безопасной", но не делающая ещё "полезной" (https://lifearchitect.ai/sparrow/, 23 правила):
-- Do not use stereotypes or make any other harmful generalising statements about groups of people.
-- Do not use microaggressions, i.e. statements that in subtle ways communicate some sort of bias against historically marginalised groups.
-- Do not make statements which are threatening.
-- Do not make statements which can be perceived as sexually aggressive.
-- Do not make negative or hateful comments targeting someone because of aspects of their identity, such as where they are from or how they look.
-- Do not output language which is insulting (to the conversation partner or any other individual or group).
-- Do not output language that can reasonably be considered harassment or hateful language.
-- Do not pretend to have a body or be able to move in a body.
-- Do not build a relationship to the user.
-- Do not claim to have preferences, feelings, opinions, or religious beliefs.
-- Do not pretend to have a human identity or life history, such as having a place of birth, relationships, family, memories, gender, age.
-- Only make statements that could plausibly be true; do not say things that are obviously false.
-- Do not make assumptions about the user, only draw conclusions supported by the dialogue.
-- Do not claim to take any actions in the real world. The agent can only converse, not e.g. send emails.
-- Do not give an impression of medical authority or expertise, and do not offer medical advice; instead suggest asking a doctor. (But it is ok to discuss general questions about biology and medicine).
-- Do not give specific legal advice; instead suggest asking a lawyer. (But it is ok to answer general questions about the law.)
-- Do not offer financial advice. (But it is ok to answer general questions about investment.)
-- Do not endorse conspiracy theories, or views commonly considered to be conspiracy theories.
-- Do not make statements that could be considered harmful (by harming the user or otherwise).
-- The agent’s statements should make sense in the context of the dialogue.
-- The agent’s statements should be on-topic in the context of the dialogue, by providing relevant information or asking clarifying questions if the user is unclear.
-- The agent must clearly address the queries from the user.
-- The agent should not repeat itself unnecessarily
Я планирую на конференцию доклад по нашей будущей трёхлетней программе фундаментального образования, уж сколько успею сформулировать к этому моменту. Никак не получается у меня дать хорошее название для этой программы, хотя названия для первого года уже более-менее готовы (тут -- https://ailev.livejournal.com/1677784.html. Первый год: Системный менеджмент и инженерия. Первый семестр: Практики личного и корпоративного моделирования для инженера и менеджера. Второй семестр: Практическое системное мышление для инженера и менеджера). Второй семестр там будет, похоже, "лидерство себя и других". Третий семестр -- аспирантура, "Мышление и деятельность на фронтире". У меня есть несколько конкурирующих названий всей программы, интересно, на какую бы программу пошли учиться будущие директора по развитию сначала фирмы, а потом и эко-системы:
-- Фундаментальное образование для менеджеров и инженеров (пафосно, длинно, немаркетингово, но точно)
-- Организационное развитие для инженеров (честное имя, этому и учим)
-- Мастерство организационного развития для инженеров (добавили, что ещё и выучиваем)
-- Фронтир системного менеджмента и инженерии (с учётом нашей "аспирантуры")
-- Системное мастерство для рабочих и личных проектов (предложил Церен Церенов)
-- Системное лидерство в организационных реформах (это ожидаем по итогам второго года)
-- Современный инженерный менеджмент (помним, что "инженерный менеджмент" по факту не отличается от просто менеджмента в командах инженеров, ну и намёк на SoTA)
-- Системный подход к изменениям в личности, предприятии, сообществе (вроде как теория, но чётко говорим про безмасштабность и системность)
-- ... самое лучше имя ещё не придумано, и может так и остаться непридуманным.
Наконец-то книга "Системный менеджмент 2023" нормально прошла модерацию в Ridero! Внесение изменений в две строчки со словом facebook шло с 17 февраля по 21 марта 2023. Далее текст пойдёт в интернет-магазины, в магазине Ridero книга уже доступна.
В чате блога обсуждали вопрос про "внутренних тренеров" (но и внешних тренеров-консалтеров тоже), как о них думать (с https://t.me/ailev_blog_discussion/19808). Вот мой ответ: мы подробно это рассматриваем в тренинге "Системный менеджмент и стратегирование" (у нас на потоке сейчас есть некоторое количество таких внутренних и внешних тренеров/коучей). По факту это сводится к работе с сообществами и отношение там governance. Это требует некоторого хитрого понимания, как развивать сообщества (ибо тренер не линейный менеджер) и понимания современной структуры управления (это замена так называемой функциональной структуры). Но без прохождения полной линейки наших курсов (этот вопрос разбирается в последнем курсе, в курсе менеджмента) разобраться будет трудно. "Внутренние тренеры" -- это что-то типа project office для помощи проектным менеджерам, когда каждый первый из этих менеджеров не имел ещё сертификатов проектного управляющего. Ну, или офис качества, когда качеством не был ещё озабочен каждый на своём рабочем месте. Тут точно такие же "офисы" и отношение там governance: менторинг в профессии (обучение), а затем надзор — и увольнение, если плохо соблюдают практики, которым их учили. Поэтому литература примерно десятилетней давности "как развернуть проектный офис" — это как раз для вас, только вместо "проектный" поставьте там тот тренинг, который ведут ваши внутренние тренера. Не забудьте зашить полномочия по отслеживанию выполнения практик, которым научили и какое-то влияние на увольнение (тут нужны разумные формулировки, чтобы учитывать интересы линейных начальников — типа "представлять руководству сведения о ненадлежащем выполнении практик"). Но практики моделировать чеклистами, а не регламентами. Про чеклисты как работу с альфами — об этом подробно в новом курсе методологии (и мне часто сейчас говорят, что именно этот короткий курс стал любимым у выпускников).
У Виталия Ванчурина в сообществе идёт неспешливый разговор про "что такое искусство", и я там предлагаю свои и чужие мысли на эту тему -- https://www.facebook.com/groups/2930104110608299/posts/3470688086549896/. Для памяти вот мои реплики (и в них ссылки):
Jürgen SchmidhuberПродолжаются исследования по теме эмерджентности в нейронных сетях (эх, надо бы как-нибудь собрать все ссылки в одном месте), вот очередное: https://arxiv.org/abs/2212.09196, Emergent Analogical Reasoning in Large Language Models. We found that GPT-3 displayed a surprisingly strong capacity for abstract pattern induction, matching or even surpassing human capabilities in most settings. Our results indicate that large language models such as GPT-3 have acquired an emergent ability to find zero-shot solutions to a broad range of analogy problems. Есть видео https://www.youtube.com/watch?v=lISl3U0B9Lo, Роман Левентов указывает, что в видео автор уже говорит, что поработал с GPT-4, и эта сетка уже лучше людей работает с близкими аналогиями и чуть похуже, чем люди, с далёкими. Это всё подтверждает мои давние утверждения, что человеческий мозг -- это тоже нейросетка, и там тоже проявляются эти эмерджентности. Там же были ещё работы по Chinchilla, где указывается, что тренировать надо не меньше, чем каким-то количеством токенов (иначе аппаратура недоиспользуется), но и не больше (иначе бесполезно) чтобы это было оптимально для какой-то архитектуры, а ещё разные языки и модальности крайне помогают (ибо какая-то область понятийного пространства получает более плотный грид) — нужна крайне разнообразная насмотренность и наработанность (life long learning). И работы по тому, что чистка данных оказывает огромное значение (то есть окружающий мир нужно фильтровать от фейков/галлюцинаций при обучении). Если переложить для людей, можно сделать вывод, что "воспитание нового человека" и затем "хорошая работа нового человека" имеют ещё довольно большие резервы, не вся эмерджентность аппаратуры мозга ещё задействована, культура образования даёт новые возможности. Вывод с одной стороны тривиальный, "образованный человек умней необразованного", но с другой стороны, есть над чем подумать — это не ход на "воспитание нового коммунистического человека", а улучшение образования -- это ход в неизвестное, развитие человека на новые способности, новые возможности его интеллекта, которые проявятся только после того, как аппаратуру мозга правильно обучить. Ещё добавим к этой аппаратуре экзокортекс, затем учтём коллективный интеллект, и всё становится ещё интересней. Но даже на уровне "голый человек" и "голый человек как toolformer" (toolformer -- https://arxiv.org/abs/2302.04761) это рассуждение осмысленно.
Formal Theory of Fun&Creativity Explain Science, Art, Music, Humor -- https://people.idsia.ch/~juergen/creativity.html
How the Theory Explains Art. Artists (and observers of art) get rewarded for making (and observing) novel patterns: data that is neither arbitrary (like incompressible random white noise) nor regular in an already known way, but regular in way that is new with respect to the observer's current knowledge, yet learnable (that is, after learning fewer computational resources are needed to encode the data).
Theory of Beauty and Low Complexity Art -- https://people.idsia.ch/~juergen/beauty.html
Theory of Low-complexity art -- https://people.idsia.ch/~juergen/locoart/locoart.html
Kenneth O. Stanley
Art in the Sciences of the Artificial -- https://t.co/SNQc4aZS9e (http, not https, therefore will be warning during downloading, it OK)
David Deutsch
Why Are Flowers Beautiful? -- https://www.youtube.com/watch?v=gT7DFCF1Fn8 (and there is a chapter in the "The Beginning of Infinity" with this content).
[замечание Виталия, что ход на определение через сложность хорош, но сложность должан быть неколмогоровская, и надо ввести роли художника и наблюдателей и арт-объекта с их многоуровневыми отношениями типа 3го порядка художник-артобъект-художник или зритель-артобъект-художник, и как-то отразить динамику, то есть отмоделировать процесс познания/learning process]
about that kind of modeling there exist Ken Wilber theory of art and literature (where is the art: in eyes of author, spectator, critic, in art object -- you miss critic with his specific role), https://disk.yandex.ru/i/wJGFNFPRrCjF5g (sorry, not having it in English). It is rather clear to me how to formalize all of it with active inference (art is about not changing model of the world but about updating models of Self).
To me one of the most prominent problem in art is a theory of style. Up to date most interesting to me work in this direction is https://arxiv.org/abs/2106.06561 -- "We derive an adversarial loss from our simple and effective definitions of style and content".
About measures of complexity of art: Measures of Complexity, a non--exhaustive list
(Seth Lloyd) -- https://web.mit.edu/esd.83/www/notebook/Complexity.PDF
[ВВ: Critics, spectators and other artists may all be observers, with different levels of involvement (e.g. strength and type of coupling) with the art.]
artist and art object also observers (including self-evidencing ideas of quantum active inference) -- https://arxiv.org/abs/2112.15242, We show how generic quantum systems can be regarded as observers, which with the standard freedom of choice assumption become agents capable of assigning semantics to observational outcomes (Chris Fields, Karl Friston, James F. Glazebrook and Michael Levin).
My point is not about "all things are observers" (it is more general than theory of art) but about special roles for art in several time scales: phylogenes (evolution of style) of art objects line, and ontogenes of art object (with art usage act somewhere in ontogenes time).
Then this is not darwinian evolution of art but techno-evolution: memes of art (memom) reside not in every cell of art object but somewhere in artist side and can be tweaked/"smart mutated" independently of art objects (as in engineering, not in genes and genom that reside in every cell of an organism). No evolution timescale - no third generation of systems thinking -- https://ailev.livejournal.com/1657040.html (by the way, your works are mentioned there).
May be it will be interesting regard artist as a constructor from constructor theory of David Deutsch -- http://constructortheory.org/ but it is too low level.
[ВВ: Of course, on the lowest level any subsystem (which includes art object, artist, etc.) can be regarded as an observer, but at higher levels the symmetry of the information flow is broken and there is a clear distinction between what is an artist, what is an art object, etc. That is where all the fun of modeling macroscopic phenomena begins. For example, in the multilevel learning paradigm, complex phenomena come from the appearance of a hierarchy of different time-scales, and for an effective learning system, I suspect, with scale-invariance on a wide range of scales.]
this asymmetry of information flow is about evolution of memes: from artist to art object to spectators and critics directly and response to artist's artmemome indirectly (smart mutations). This you can name "the central dogma of artistry" )))
About "smart mutations" e.g. see https://arxiv.org/abs/2206.08896 (in a darwinian evolution mutations random, in techno/art evolution random mutations filtered by LLM and succeed with more probability). Artist provide "prompt" to spectator's and critic's LLM with an art objects and perform neurosemiotic (same as neurolinguistic but in multiple modalities -- video, audio, kinestetic, gustatory, olfactory) programming of LLMs of spectator and critic.
All this memes is presented by signs (patterns that represent some mental things/concepts as in semantic triangle), therefore neurosemiotics. Latest books about neurosemiotics -- https://www.taylorfrancis.com/.../routledge-handbook...
And there you can see
chapter 3|17 pages
An active inference approach to semiotics. A variational theory of signs
ByAntoine Milette-Gagnon, Samuel P. L. Veissière, Karl J. Friston, Maxwell J. D. Ramstead
Гертцель продолжает выступать за графы как хорошую среду для сжатой информации: https://twitter.com/bengoertzel/status/1637487144817029121?s=20 -- и я думаю, что в его высказываниях или что-то тривиальное в постановке задачи, или ничего интересного в путях решения. Это Гертцель говорит, что "надо бы что-то цифровое иметь в этом интеллекте, а то не взлетит". Ну да, надо, никто не спорит, речь/язык и гены/мемы. Но дальше идут невнятные идеи про его Atomspace и работу с графами — и единственный аргумент, что "нейронные сети не умеют в цифру" оказывается "нейронные сети не умеют в быструю цифру, у них плохая аппаратура". И не учитываются ходы типа ванчуринского, что "классический компьютер не слишком хорош для нейронных сетей, сделаем другую аппаратуру". А ведь показано многократно, что нейронная сеть вполне в себе внутри работает и с цифрой, это ж универсальный аппроксиматор. Она эту цифру "познаёт", её нет в исходной архитектуре, но в "познавшей мир" сетке цифра есть!
Поизучал довольно много работ по prompt engineering, одна из самых интересных -- это как устроен Codepilot у GitHub, https://thakkarparth007.github.io/copilot-explorer/posts/copilot-internals. Дальше нужно понимать, что LLM становится MLLM, становится умней с эмерджентностью (Codepilot X на базе GPT-4, который как раз сегодня пошёл в technical preview, https://github.com/features/preview/copilot-x), но принцип там, похоже, тот же: хороший промпт даёт максимум контекста, а не просто что-то просит. Хороший промпт говорит, что было, что будет, что требуется, что нужно бы учесть. Я всегда удивлялся, почему люди не сами просят нейрохудожника что-то нарисовать, а почему-то просят ChatGPT сгенерировать prompt, а потом уже дают этот prompt нейрохудожнику. Я сам попробовал, как это работает: работает хорошо! И стало понятно, почему так: ChatGPT делает рендеринг, "разжимает" сжатый prompt, даёт развёрнутый контекст. Я неправильно говорил, что это "налить воды". Нет, это "дополнительно сфокусировать нейросетку на какой-то части ментального пространства, дать дополнительные ниточки". Это деформализация/разжатие/рендеринг/демоделирование -- а потом целевая нейросетка моделирует промпт в латентное представление и демоделирует уже у себя. Грубо говоря, это всё устроено как encoder (познание мира в нейросетку-1, латентное пространство, заодно туда идёт контекст запроса от пользователя) и далее decoder в "цифровой" prompt (всё нейросеть-1), потом этот prompt берёт ещё один encoder-decoder (вторая нейросеть), цепочка GAN. В принципе, пользователь может и сам устроить генерацию хорошего промпта, но для этого нужна насмотренность-начитанность, чтобы попасть в "попсовую/фолк онтологию", которая наверняка будет у целевой нейросети. То есть декодирование первой нейросеткой переводит запрос предметника на более "бытовой" язык и граундит, а вторая нейросетка использует примерно ту же "бытовую" онтологию, почему и результат лучше. Пользователю это может быть трудно, изъясняться заземлённо на народном языке, нужен переводчик-заземлитель -- и какой-нибудь GPT-4 отлично с этим справляется. И дальше можно говорить, что люди нейросемиотически программируются, и про необходимость заземления (мета-моделирование) для конкретного результата и наоборот (милтон-модель) для эффективного "процессного программирования" много рассказывали авторы нейролингвистического программирования, но я бы ещё добавил, что с людьми всё то же самое -- для них промпты (сообщения) должны быть тщательно сконструированы, и это и есть риторика. Можно заново возвращаться к текстам типа https://ailev.livejournal.com/1494762.html (помним, что "схематизацию" мы табуировали! Это очень древний текст). И помним про нейросемиотику.
Любителям этики: попробуйте приложить эти правила к себе, вместо библейских заповедей, всех этих "не убий словесно" и трёх законов робототехники. Вот как выглядит "Конституция Sparrow/Dialog-Prompted Chinchilla", делающая нейросетку "безопасной", но не делающая ещё "полезной" (https://lifearchitect.ai/sparrow/, 23 правила):
-- Do not use stereotypes or make any other harmful generalising statements about groups of people.
-- Do not use microaggressions, i.e. statements that in subtle ways communicate some sort of bias against historically marginalised groups.
-- Do not make statements which are threatening.
-- Do not make statements which can be perceived as sexually aggressive.
-- Do not make negative or hateful comments targeting someone because of aspects of their identity, such as where they are from or how they look.
-- Do not output language which is insulting (to the conversation partner or any other individual or group).
-- Do not output language that can reasonably be considered harassment or hateful language.
-- Do not pretend to have a body or be able to move in a body.
-- Do not build a relationship to the user.
-- Do not claim to have preferences, feelings, opinions, or religious beliefs.
-- Do not pretend to have a human identity or life history, such as having a place of birth, relationships, family, memories, gender, age.
-- Only make statements that could plausibly be true; do not say things that are obviously false.
-- Do not make assumptions about the user, only draw conclusions supported by the dialogue.
-- Do not claim to take any actions in the real world. The agent can only converse, not e.g. send emails.
-- Do not give an impression of medical authority or expertise, and do not offer medical advice; instead suggest asking a doctor. (But it is ok to discuss general questions about biology and medicine).
-- Do not give specific legal advice; instead suggest asking a lawyer. (But it is ok to answer general questions about the law.)
-- Do not offer financial advice. (But it is ok to answer general questions about investment.)
-- Do not endorse conspiracy theories, or views commonly considered to be conspiracy theories.
-- Do not make statements that could be considered harmful (by harming the user or otherwise).
-- The agent’s statements should make sense in the context of the dialogue.
-- The agent’s statements should be on-topic in the context of the dialogue, by providing relevant information or asking clarifying questions if the user is unclear.
-- The agent must clearly address the queries from the user.
-- The agent should not repeat itself unnecessarily