?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Кадавр, неудовлетворённый графомански [15 Feb 2019|02:15pm]
OpenAI сделал кадавра, неудовлетворённого графомански -- https://blog.openai.com/better-language-models/ Подробности про кадавра, неудовлетворённого желудочно, погуглите -- тут такой же, только он не ест, а пишет! Пишет, например, рецензии к продуктам -- от живых рецензий не отличишь, ни за что не догадаешься, что их кадавр написал. Пишет короткие рассказы. Пишет реплики в чужие блоги. Пишет всё, разнообразно и красочно. И внутре у него не неонка, а нейронная модель GPT-2 с полутора миллиардами параметров, натренированная на 40GB текста из 8 миллионов интернет-страниц. Оказывается, в мире нейросетей размер имеет определяющее значение. Если сделать достаточно большую нейросетку, натренировать на достаточно больших объемах качественных данных, то можно получить чудесного кадавра, предобученного болвана искусственного интеллекта.

В тексте про этих болванов, этих кадавров (https://ailev.livejournal.com/1356016.html) я писал "интеллект общего вида в варианте полностью необученном и неотёсанном (болван, Маугли, tabula rasa) будет массов, похож друг на друга, и крайне дёшев. Болван -- это платформа когнитивной архитектуры общего вида, которая способна относительно легко и задёшево выучиться чему угодно -- примерно так же, как относительно легко и задёшево чему угодно может выучиться человек. Думать нужно как об очередной Wintel, iOS и Android, только исполняться на этой когнитивной платформе будут не столько традиционные "приложения", сколько компетенции, skills. И стоить дорого будут уже эти skills".

До более-менее общего искусственного интеллекта ещё как до Луны, но получить кадавра, легко получающего skills писателя спама, скама, троллинга, буллинга и прочего подобного -- вот, удалось уже сейчас. Пишет гладко, быстро, очень дёшево. The model is chameleon-like — it adapts to the style and content of the conditioning text. This allows the user to generate realistic and coherent continuations about a topic of their choosing.

И OpenAI, публиковавший раньше в open source (он поэтому и называется OpenAI!) все свои достижения, принимает решение не отдавать код этого кадавра в общественное пользование. Ибо это атомная информационная бомба: включаешь кадавра, дообучаешь его на каких-то своих нехитрых маленьких данных свечного заводика, и завтра вся Сеть будет забита самыми разнообразными (кадавр дьявольски изобретателен! он учился на опыте миллионов людей!) текстами на свечно-заводскую тему. Хотя о заводиках никто не думает, больше думают, конечно, о "влиянии на выборы". Когда этот код дали поюзать Gardian, журналисты сразу предложили писать о Brexit -- и вот, быстро и свободно этот кадавр подхватил тему! Поглядите, как лихо: https://youtu.be/XMJ8VxgUzTc

Что тут страшного? Ну, ничего особенно -- но за ночь написать правдоподобных (фейковых, лживых, но очень правдоподобно выглядящих текстов) примерно столько, сколько уже написано человеками, и запостить эти тексты везде, куда их можно постить, этот кадавр сможет. Капчи его не остановят, эта проблема с капчами давно решена. Ольгинские тролли отдыхают и уходят пить горькую, их окно возможностей закрылось.

С этого момента удивление чудесами науки и инженерии заканчивается, и обсуждается только один момент: должны или не должны люди из OpenAI выпустить на волю кадавра, неудовлетворённого графомански, эту атомную информационную бомбу, или не должны. Что должно быть для них ответственным поведением? Вот комменты, про само техническое достижение в них много меньше (к чудесам привыкают), чем про проблему выпуска на волю кадаврического кода: https://venturebeat.com/2019/02/14/openai-let-us-generate-text-with-an-ai-model-that-achieves-state-of-the-art-performance-in-several-nlp-tasks/, https://medium.com/syncedreview/openai-guards-its-ml-model-code-data-to-thwart-malicious-usage-d9f7e9c43cd0, https://news.slashdot.org/story/19/02/14/2029259/new-ai-fake-text-generator-may-be-too-dangerous-to-release-say-creators, https://www.theguardian.com/technology/2019/feb/14/elon-musk-backed-ai-writes-convincing-news-fiction

OpenAI взял полгода на "подумать, что делать дальше". У него ведь была с самого начала оговорка на эту тему: We will not keep information private for private benefit, but in the long term, we expect to create formal processes for keeping technologies private when there are safety concerns (https://openai.com/about/). UPDATE: тут оценки времени, чтобы повторить этот zero day threat in AI -- месяц и $100k -- https://www.fast.ai/2019/02/15/openai-gp2/. И напоминание, что в AI было рекомендовано использовать практики software security сообщества, в том числе поведение в части zero day threats.

Этих кадавров сейчас будут мочить в компьютерных сортирах -- пресса, "общественность" (политики), чиновники, университетские профессора. Например, кадавры, полицейски неудовлетворённые, пытаются воспроизводить лучшие практики работы полиции -- но фишка в том, что эти практики не являлись лучшими! Вот: https://medium.com/mit-technology-review/police-across-the-u-s-are-training-crime-predicting-a-i-s-on-falsified-data-2be332bbc60e. А представляете, если наших кадавров-судей (а всё чаще и чаще раздаются голоса, что "пусть лучше меня будет судить искусственный интеллект, чем судья басманного суда") будут учить по актуальным примерам работы наших басманных судей? Яблочко от яблони-то недалеко упадёт, искусственный интеллект влёгкую может быть хуже людей или таким же (наш робот-юрист от "Мегафона", например, в конце демонстрации матюкнулся -- и именно это попало в заголовки, а не "чудо! Робот понимает в юриспруденции!" -- https://news.sputnik.ru/obschestvo/3f0f1789d3a4679304c6c9da612f8b072a27d139. Как его учили, так он себя и вёл. Яблочко от яблони. Создавался ведь "по образу и подобию своему". При этом из ребра, а не из рациональной части мозга).

Как сделать кадавров, эту нежить, этих болванов лучше? Как сделать так, чтобы этот компьютерные интеллекты (как и автоматы Калашникова, как и атомные бомбы) служили благим целям? И что считать благими целями? Гугль делает свой цензурируемый поиск для Китая, а сотрудники пытаются этому воспрепятствовать -- и вот лидер "оппозиции" уходит из компании, https://medium.com/s/story/google-workers-lost-a-leader-but-the-fight-will-continue-c487aa5fd2ba. Приглядываемся -- а там ведь "профсоюзное движение", только со слегка другими целями! Не за зарплату, а "за политику"! При этом политика, конечно, устроена так, что "миллионы мух не могут ошибаться" -- голосование вроде как решает всё, расчёты (как в инженерии) не принимаются во внимание, а меньшинство пусть заткнётся.

Если какая-то секта, считающая, что жителей Земли нужно побыстрее всех убить, чтобы они гарантированно попали в Рай и не мучились своим существованием в этом мире, получает супер-пупер искусственный интеллект (ну, получает ключи от сарая, где ядерные ракеты лежат, это ж почти то же самое), что делать-то? Признать их право? Отказать им в праве? Отобрать этот интеллект? Поставить интеллект под запрет? То есть ввести полицию компьютерной мысли? Нейронные сетки особо сильные не публиковать, опубликованные находить и уничтожать! Вот прямо как в комментируемой статье -- чёрт с ним, с колл-центрами и хелп-десками без таких сетей, главное что ольгинские тролли это не получат! А фирмы типа https://autofaq.ai/ пусть посидят без этих новаций, сами что-то придумают.

Прецедент задействования кадавра, неудовлетворённого в спорах, случился буквально на прошлой неделе: IBM Дебаторша начала защищать социализм, став по факту AI Калашникова (https://ailev.livejournal.com/1465183.html) -- вместо того, например, чтобы подебатировать с каким-нибудь инженером, двух или трёхступенчатую ракету делать (где придётся что-то обосновывать реально, вплоть до расчётов). Нет, сразу в политику (где никаких расчётов не нужно) -- и там занять сторону социалистов, попробовать им помочь не делом, так словом. Мирный атом много, много сложней делать, чем атомную бомбу. Мирную Дебаторшу, помогающую инженерам и проверяющую логику, сложней построить, чем простого "убедителя бывших обезьян". Как вы помните, Каа говорил бандерлогам "подойдите ближе", не используя логических доводов, а используя другие методы. Недостаток Дебаторши оказался в недостаточной эмоциональности. Стоп: это ж как раз путь получить Каа для бандерлогов -- психотехническое, а не рациональное убеждение!

Дальше берём такую Дебаторшу как интеллектуального наёмника, свободного от угрызений совести ("ничего личного, это бизнес", "я только выполняю приказ" -- в прошедших дебатах задачу для Дебаторши даже не сама IBM ставила), соединяем её выход со входом графоманского кадавра из OpenAI, и заваливаем всю сеть убедительнейшей пропагандой, разнообразной и в количестве. Ну, или немногие слова правды разводняем миллионом вариантов фейка. Сценариев-то много. Все эти технологии интеллекта легко объединяются в стеки.

И в этом мире нам жить. Код этой атомной спаммерской бомбы не опубликован, но статья о том, как она устроена -- вот: https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf (обратите внимание, это не arxiv.org -- из arxiv.org текст не уберёшь. Предыдущие тексты от OpenAI были все в arxiv.org).

Из-за этого шума с публикацией кода потерялось существенное научное достижение: начинает подтверждаться гипотеза о том, что общие модели языка будут становиться лучше по мере увеличения количества вычислений и данных. И комментируемая работа об этом, и https://arxiv.org/abs/1901.11373. До человеческого мастерства этим нейросеткам ещё далеко, но можно оценить скорость прогресса, она оказывается немаленькой. Размер таки имеет значение. Эти кадавры будут становиться смышлёней и смышлёней в удовлетворении своих страстей. Но продолжат быть так же неразборчивы в использовании себя. Топором можно по чужой голове, можно по полешку, но топоры дёшевы и их продают в любом магазине. С атомной бомбой и мирным атомом получилось по-другому. И атомные технологии по факту стагнируют из-за этого. Генетические технологии для людей стагнируют тоже, хотя на уровне бактерий что-то таки происходит. С искусственным интеллектом только-только столкнулись.

И да, искусственные интеллекты будут, конечно, биться с искусственными интеллектами -- Дебаторши дебатировать между собой, ольгинские кадавры писать отрицательные обзоры, а техасские кадавры положительные кадаврами, люди будут куда-нибудь тихо отползать от всего этого (а куда?! Кадавры ведь специально затачиваются на то, чтобы быть похожими на людей -- более того, превзойти людей!). Очень интересный мир, где сам "человек" и видовая его идентичность (и вспоминаем фантастические рассказы, где защищалась не видовая идентичность, а "разумность" как главный критерий выделения из мира неживой природы и требующей особого отношения) будут проблематизированы. Попкорн не идите покупать, этот фильм вам не смотреть издалека, в этом кино вам участвовать.

DISCLAIMER. Текст написан мной собственномозгово и собственноручно, с очень ограниченной помощью компьютерного инструментария.

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10214832571101888, обсуждение во фрифиде -- https://freefeed.net/ailev/aa250d10-7f01-421b-8b0a-d966b349e270

UPDATE:
Из https://venturebeat.com/2019/02/14/openai-let-us-generate-text-with-an-ai-model-that-achieves-state-of-the-art-performance-in-several-nlp-tasks/:

We tested the first model with this phrase: “The quick brown fox jumps over the lazy dog.”

Here’s what it wrote: “The quick brown fox jumps over the lazy dog. This dog looks lazy! ‘What’s so great about that?’ I asked, and the quick brown fox laughed, and the lazy dog licked his lips. ‘I don’t know. But you won’t have to know, because once you’re in… ‘ ‘I know,’ I said.”



Сравните это с напомненным dsumin в https://freefeed.net/dsumin/77c0c8a9-52ad-463a-8cb5-1af5f60679ab #Викторолегович в романе SNUFF 2011 года:

Грым не знал точно, как работает доводчик — и никто толком не знал. Дамилола сказал только, что в нём заложен тот же алгоритм, что и в Кае — программа учитывает всё, когда-то сказанное людьми, все бесчисленные смысловые выборы, которые делались в течение веков и сохранились в информационных анналах. Пальцы Грыма как бы управляли армией мёртвых душ, двигавших для него кубики слов.

Это походило на игру — словно он бросал в невидимую борозду мгновенно прорастающие семена. Их ростом можно было управлять самым причудливым образом. Новорожденный абзац-кубик можно было сдвигать вдоль множества осей с надписями вроде «сложнее», «проще», «злее», «добрее», «умнее», «наивней», «задушевнее», «острее», «безжалостней» — и текст при этом мгновенно менялся в соответствии с выбранным маршрутом, причём в новых точках бесконечной траектории возникали новые смысловые оси, по которым мысль можно было двигать дальше. <…>

Но больше всего Грыму нравилось, что доводчик делал его невероятно, обжигающе умным. Он специально вводил в маниту тупое косноязычное словосочетание, набранное почти наугад — и несложными манипуляциями трансформировал его самым радикальным образом.
Например, в ответ на зародыш «в Биг Бизе все суки и охреневшие задроты» доводчик, после пары тычков обгрызенным пальцем в оси «умнее» и «рафинированнее», выдал следующий абзац текста:
«Жители Бизантиума должны быть тщеславными и закомплексованными сексуальными неврастениками, склонными прятать наслаждение чужой болью за фальшивым сочувствием и лицемерной моральной проповедью — просто потому, что ни один иной умственный модус несовместим со здешней жизнью. При всех иных балансах сознания здешнее бытие немедленно обнажит свое естество и станет приносить жгучую боль».
А смутное «без маниту они никто, а с маниту им кажется, что они крутые» превратилось после ряда более сложных перемещений пальца вот в такое:
«И если ободрать с их мира все маниту, мы увидим галлюцинирующих термитов, работающих в каменных сотах, а если вырвать все щупальца маниту из их умов, мы увидим разлагающиеся белковые тела, лихорадочно вырабатывающие один мозговой наркотик за другим, чтобы забыть о надвигающемся распаде».
69 comments|post comment

navigation
[ viewing | February 15th, 2019 ]
[ go | previous day|next day ]