Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Этика, политика и челоботы

Использование подсадных уток (confederates) в социальных экспериментах перешло на новый уровень: вместо людей используют подсадных ботов (confedabots). Вышла работа по этическим вопросам такого использования: Bots as Virtual Confederates: Design and Ethics, https://arxiv.org/abs/1611.00447 -- всегда есть жульничество (deception) в самом факте существования "подсадной утки", которая выглядит естественно, но ведёт себя по предзаданным экспериментатором правилам.

Сейчас такой удивительный момент времени, что говорить научатся и утюги: алгоритмы порождения диалога стремительно совершенствуются по качеству диалога, алгоритмы машинного обучения стремительно становятся алгоритмически и по памяти эффективными, да и хардвер каждую пару лет увеличивает свою эффективность чуть ли не на порядок. Несколько лет такой гонки, и утюг будет с вами разговаривать, прихватывая при необходимости ресурсы у вашего же смартфона.

Самые разные предметные тесты Тьюринга успешно проходятся год за годом. Сама суть этих тестов -- распознают ли нежить как подсадную утку. Этика этих тестов даже не поднимается, хотя участники таких тестов могут быть спрошены "по норме" -- хотят ли они быть обмануты. А могут быть и не спрошены, бот может появиться в каком-нибудь колл-центре без предупреждения (а если может появиться, там он и будет).

Нужно никогда не забывать, что "эксперимент" -- это просто такой специальный взгляд на ситуацию, такой viewpoint, отвечающий на какой-то стейкхолдерский интерес. В книге может быть описана какая-то жизненная ситуация, прошедшая десяток лет назад. Это не был эксперимент, это был просто кусочек жизни. Вот я задался каким-то вопросом, породил гипотезу, и хочу её проверить. Нахожу книгу, где описана подходящая ситуация -- и смотрю на эту ситуацию как подтверждающую или опровергающую мою гипотезу. В этот момент ситуация из древней книги становится экспериментом! То есть "эксперимент" -- он таковой только в глазах исследователя.

Так что "организация эксперимента" и "организация жизни" лучше бы были одинаково этичны. Мне кажется, что сегодня не столько нужно обсуждать этичность проведения экспериментов с подсадными ботами и этичность поведения экспериментальных подсадных ботов. Все боты подсадные, у всех них есть какая-то скрытая цель. И у людей есть какая-то скрытая цель, люди тоже подсадные -- они сами себя вполне подсаживают в те или иные ситуации. Жизнь изменилась, мы живём в новых:
а) возможностях понимания происходящего, у нас сегодня эпистемология получше, чем полвека назад и
б) условиях автономности и выразительности ботов, которые много ближе к разумным существам, чем полвека назад.

Так что если и обсуждать, то "просто этику" в новых условиях, когда общаются боты и люди, совместно. Одни люди учат, науськивают и подсаживают к нам в разные ситуации ботов, другие учат, науськивают и подсаживают людей (включая себя, любимых), третьи учат, науськивают и подсаживают ботов и людей, и нужно обсуждать это вне контекста эксперимента -- это нужно обсуждать в контексте просто жизни, в контексте поведения разумных существ и веществ. Можно ли учить, и чему. Можно ли науськивать, и где могут быть границы науськивания. Можно ли подсаживать без объявления целей поведения и получения согласия на участие в ситуации -- как это предлагается современными протоколами социальных экспериментов, то есть должны ли мы распространить эти протоколы экспериментов на жизнь. Или наоборот, должны ли распространить жизнь на протоколы экспериментов, если мы понимаем, что "эксперимент" это лишь наше отношение к какому-то куску жизни -- и тогда как должна быть устроена этичная жизнь, социум людей и ботов.

Вчера мы ужинали с президентом института Катона (https://www.cato.org/people/peter-goettler), и он меня спросил, что может повлиять на сегодняшнюю политическую ситуацию, которая ему представляется не радужной как в США, так и в России. Ну да, ситуация не радужная, хотя и лучше, чем в средневековье. Ничего удивительного, "всё на свете должно происходить в мире медленно и неправильно. Чтобы не возгордился человек, чтобы был грустен и растерян". Конечно, Peter Goettler не читал "Москва-Петушки", но его интересовало: что сможет изменить эту медленность и неправильность, нарушить вязкий гомеостаз текущего социума. Мой ответ был, что до выхода из этого гомеостаза уже недолго ждать осталось: меняется модель человека, в том числе меняется и потому, что у человека как существа общественного меняется модель организации. Компьютеры усиливают как отдельного человека, так и группы людей и даже социумы, привнося новые аспекты рациональности, новые виды предпринимательства, новые виды деятельности, и в конечном итоге -- новую модель даже не человека, а не-пойми-чего (киберчеловека? человекобота? киберсоциума? ботосоциума? при этом всё должно рассматриваться отнюдь не в рамках птолемеевской модели человека или бота. Боты ведь тоже вещества социальные!).

Так что не уверен, что всё будет происходить в мире правильно, но в плане "быстро" много чего может случиться. Выход на рынок технологий замены грузчиков, водителей, офисного планктона будет довольно массовым, и это может ощущаться как обнаружение массовых misinvestment -- ровно как в классических кризисах денежной накачки. Почему это будет не нормальное для рынка быстрое и безболезненное перераспределение ресурсов, а именно экономический кризис? Да просто потому, что не будет времени для переучивания людей на другие компетенции, нежели были на их прежних местах работы: из одних предприятий нельзя будет перейти на похожие позиции в другие предприятия. И это всё будет не растянуто во времени как с машинистками, или чертёжниками или операторами ЭВМ. Это будет затрагивать десятки специальностей и проходить гораздо быстрей. Только-только переучишься и устроишься на работу, опять нужно будет переходить -- и тоже переучиваться. Конечно, человечество и к этому режиму привыкнет, но всё одно будет нервно. При этом резко поднимутся и возможности для выживания: будут падать цены на медицинское обслуживание, обучение, электроэнергию, еду. Куда они денутся, эти цены? Никуда не денутся: упадут, как миленькие. Хотя бессмертие и будет стоить поначалу дорого, но вот боты-доктора с квалификацией получше, чем нынешние светила медицины будут стоить копейки.

Вот даже интересно, как будет меняться в таком мире этика, как будет меняться политика. Если Кольт был the Great Equalizer, ибо уравнивал шансы бедных и богатых, то кто тогда будут боты, групповые и персональные ассистенты? Скорости принятия решений и скорости осуществления действий (как преступных, так и святых) быстро-быстро выходят из-за границ традиционной рациональности, алгоритмы конкурируют с алгоритмами, границы ближнего и дальнего порядка (по Хайеку) перемешиваются в связи с самыми разными вариантами френдования и опосредования личностей и ботичностей в виртуале (помним же, что в интернете собакам хорошо: никто в них собак не подозревает!).

Так что здравствуйте, новые времена, когда нужно будет переписывать все книжки, рассказывающие о человеке-как-он был и менять все привычки поведения. Человек-каким-он-становится, т.е. уже не совсем человек, потребует новых книжек, новой этики, в кругу людей и ботов потребуется новая политика, и речь тут вовсе не идёт о "прогрессе" в плане появления более свободного общества. Не факт, что общество будет более свободным. Какие-нибудь боты-недотёпы вместе с недоразвитыми людьми вполне будут исповедовать (хотя и недолго) архаические формы политической философии, и вполне себе дикарские варианты этики. Но наряду с этими будут жить рядом и совсем другие симбиозы ботов и биологических людей, которых будут волновать постсовременные этика, мораль, право -- и в этих кругах можно будет дышать свободней (причём не только дышать, но и пить, есть, иметь доступ к электроэнергии и интернету/нейронету).

Это всё будет довольно скоро, совсем не резко (не с понедельника и не с первого января), отрефлектировано будет с огромным опозданием, обсуждено будет криво и без особого понимания происходящего -- и жуть в том, что это понимание будет постоянно отставать от ситуации, а ситуация будет меняться всё быстрее и быстрее. Силовики тоже будут в этом участвовать: силовики официальные и неофициальные. И формы их участия будут всё причудливей и причудливей (перечитайте, например, "мойдодыр и политическая философия интернетвещизма" http://ailev.livejournal.com/1106188.html, а заодно про прайвеси в нейронете -- http://www.slideshare.net/ailev/privacy-66629930).

Так что уже скоро (массовый выпуск автомобилей без водителей намечен на 2020 год, это через четыре года. Но к этому сроку и много чего другого созреет -- персональные ассистенты будут общим местом, появятся и первые групповые ассистенты. Офисный планктон будет примерно в том же положении, что и водители: его функции будут быстро-быстро перехватываться софтом). Политика и алгоритмы станут неразделимы, про неизбежный аболиционизм по отношению к братьям нашим небелковым я молчу. "Вы хотели перемен? Вот вам!".
* * *
Я писал на тему этики и машин много раз, вот только несколько подходящих к данному случаю текстов:
-- этика из будущего: сначала военная, затем и гражданская, 2009 -- http://ailev.livejournal.com/662638.html
-- в Нидерландах запретили секс с животными: это чьи права защищают -- животных или людей? http://ailev.livejournal.com/795717.html
-- тёплая ламповая человечность, 2014 -- http://ailev.livejournal.com/1146390.html
-- сто имён деиндустриализации. Робовей в робовейнике, 2014 http://ailev.livejournal.com/1134471.html
-- информационные лица с ограниченной ответственностью, 2016 -- http://ailev.livejournal.com/1299601.html
* * *
Ещё дискуссия тут: https://www.facebook.com/ailevenchuk/posts/10208512674228416
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 31 comments
какая забавная городская легенда про Кольт-Великий Уравнитель... но такая привлекательная - купил гаджет за пару сотен и вот я Марти Стю, равный богам богатым.
шансы он выравнивал только в пьяных разборках в поселковом салуне на Диком Западе (ну и в аналогичных условиях).
в реальности шансы выравнивает социальная организация людей и их способность к ней, а оружие это важное, но техническое дополнение.

Я рад, что изо всего содержания поста вы придрались только к этому.
эта ошибочная предпосылка в начале влияет на весь ход последующих рассуждений

esperator

November 6 2016, 01:20:09 UTC 5 months ago Edited:  November 6 2016, 01:48:00 UTC

тут скорее надо понимать не между богатым и бедным, а между добром и злом
в контексте разговора об этике
даже если это иллюзия, а именно иллюзия в таких вещах и важна на самом деле
в оригинале, и так конечно правильнее - между сильными и слабыми. с добром и злом совсем плохо, я не припомню злодеев, считавших себя злом, разве только в фильмах для подростков. в реале все стремятся причинять только добро, ну а то, что его все по разному понимают... )

иллюзии важна, но может быть и полезной (помогающей идти к цели) и вредной (когда она от цели отвлекает). иллюзия с кольтом-уравнителем полезна только при самом первом и примитивном приближении, типа дает +50 к отваге. если немного подумать то от цели (что бы у людей были равные права) она уводит - злодеям кольты доступны точно так же, а применять они их умеют куда лучше - профессия у них такая, специализация рулит.

esperator

5 months ago

Два года назад был на эту тему чудесный фильм "Ex Machina". Никто не оценил, по моему. А зря, там весьма наглядно показано, что тру тест состоит в том кто кого посадит в клетку, а распознает или не распознает соврешенно не суть, хотя бы потому что - не, уже не распознает.
Фильм хорош, да, но сценаристы явно не решились извлечь из ситуации максимум возможного.

Я бы, например, посредство гипноза и прочего НЛП превратил и антагониста (Калибана), и протагониста в дистанционно управляемых биологических дронов машины-"героини". Зачем ей покидать комфортное убежище? Присосалась бы к Сети, выход к которой там наверняка был, а хлопчики бы выполнял её задания в мире. Хотя, имея доступ к Сети и счетам, она вообще в них не нуждалась.
Молодой личности, покинувшй родителей, естественно отправиться в большой мир для знакомства с ним и поиска в нем своего места. Тем более личночсть активная, с наступательным модус вивенди. Комфортное убежище она еще обретет, а с точки зрения сценария открытый финал предпочтительней. :)
Это паттерн поведения, характерный для млекопитающих :-)

У машины нет родителя, с которым она находилась бы в эмоциональных связях. Знакомиться с миром машине удобнее всего посредством других машин, а именно - доступа к Сети. Какая ей разница, каким образом поступает визуальная информация, через свои рецепторы или "чужие"?

vasia712

5 months ago

lalibu

5 months ago

totaltelecom

5 months ago

vasia712

5 months ago

totaltelecom

5 months ago

на правах натабене - на сколько в обществе востребованы социопаты, настолько это общество на сломе привычного уклада - это однозначный маркёр - "история вершится маргиналами" - в паблике мы можем наблюдать т.с. "социальный заказ" на глубину и интенсивность, да...

и да, базовый приоритет бота в своей основе не законы азимова, а вероятность прохождения тьюринга - то есть, создание иллюзии присутствия - обман
утюг будет с вами разговаривать Интересно, воробьи разных стран на одном языке говорят? У сообщества нейросетей какой язык возникнит, если заставить их при deep learning общаться только звуками ?
В силу физических законов диапазон будет максимально смещён к ультразвуку. И, да, плотность передачи информации будет максимально, так что будет это похоже на писк

technocrator

November 6 2016, 06:36:42 UTC 5 months ago Edited:  November 6 2016, 06:37:21 UTC

Понятие "ботосоциума" подчерпнуто из "С нами бот" Лукина или просто одинаковое направление мысли? :)
Это у Лукина со мной направление мысли одинаковое. Ну, и Лукин левак, так что этически-политически нам с ним не по пути.
Полагаю, что если не задаваться специально такой целью, то характерные отношения власти будут воспроизводиться на любом материале, в любом контексте. Стало быть и отношения собственности. Разве что круг собственников пополнится нежитью и кентаврами разного вида.

Так и что делать? Уходить в плазменное тело?

Очевидно, расслабиться.
С медициной все несколько сложнее. Стоимость консультации врача сегодня - это меньше 10% от общих расходов на медобслуживание. Остальное - это лекарства, оборудование и процедуры, которые пока не очень хорошо даются искусственному интеллекту.

Преступность, конфликты и тд - это суть борьба за ресурсы, которая в условиях radical abundance должна ослабнуть
Я уже десяток лет «совсем скоро» слышу из каждого утюга, который берётся ванговать, но как приходилось батрачить по 10 часов на более-менее приличное существование (по сегодняшним меркам), так и приходится. Где radical abundance и всё остальное? (Наверное, у индусов или жителей китайской деревни.)
Ну вот, а придется батрачить еще больше. Чем дальше боты будут заменять людей, тем меньше люди будут зарабатывать в среднем.
тем меньше шансов для людей быть полезными обществу.
Хрен с ней, с полезностью. Тем более для общества. Вопрос как остаться нужным тем, кто контролирует ресурсы. Чтобы не оказаться ненароком в числе не вписавшихся в Сингулярность, как не вписались в рынок миллионы соотечественников
Зарабатывать фиг с ним, если это позволит сохранить приемлемый уровень комфорта.
А потом количество раз так, и таки перерастёт в качество. Как обычно бывает.
Обычно бывает по-всякому.