-- У меня иногда складывается впечатление, что темой безопасности искусственного интеллекта занимаются много больше людей, чем его разработкой.
[но если не заниматься безопасностью АЭС, то будет бардак и Чернобыль!]
-- Бардак не в области безопасности АЭС, а в области обычной инженерной разработки: управления конфигурацией, проведения испытаний, расчётах надёжности и т.д.. Когда занялись "безопасностью АЭС", то АЭС кончились как класс, а "безопасность" стала просто кормушкой для дикого количества народу.
Про "не было конференций и публикаций российских учёных", так и слава богу, что не было. Хайпа и так много. Сделал запрос на "искусственный интеллект" в Яндекс.новости -- получил "В Сбербанке оценили опасность искусственного интеллекта для экономики", "Сооснователь Apple объяснил, почему не стоит бояться «восстания машин»". Как видите, хайпа выше крыши, и он имеет тенденцию только увеличиваться. А потом будет как с АЭС -- какой-нибудь "договор о нераспространении", и каюк "мирному искусственному интеллекту".
Так что я бы нормальный разговор поддерживал, чисто про технологические аспекты безопасности -- и в силу специфичности и сложности этого разговора он может идти вдали от публики, в лабораториях, а не "Кочерге". А вся эта литературщина и журналистская популяризация -- только привлечёт фриков. Всякие программисты, начитавшиеся эссе из lesswrong и рассуждающие о том, чего в глаза не видели. Нет уж, нафиг. Вот после политиков из ООН у нас дешёвой атомной энергии и нет, зато требования иметь радиацию на выходе воды из атомной станции ниже уровня радиоактивного фона -- и ничего сделать нельзя, ибо "требования закондательства". Допрыгались, добезопасничали.
[но обсуждать безопасность будем на основе большого анализа данных по нейросетям, которые были в последнее время!]
-- Нет проблем, желающие пусть обсуждают. Безопасность ГМО, безопасность АЭС, безопасность переходящих дорогу кошек, безопасность числа 4 в Азии и 13 в Европе, безопасность коботов (коллаборативных роботов), безопасность чего угодно. Я ж не против безопасности! Но мне этого мутного потока, влезающего через "свободное обсуждение в прессе" уже достаточно. Особенно в прессе мне нравится, что самые мутные заголовки обязательно включают слово "учёные". Так и заголовки со словом "безопасность" -- их много, они обычно ни о чём. Поэтому если бы удалось переформулировать тему без слова "безопасность", то было бы великолепно. Что-то типа "тормозной путь не более 10м при начале торможения на скорости 60км/час, резиновых шинах и дорожном покрытии изо льда при температуре воздуха +3 градуса Цельсия". И слова "безопасность" нет, и фрикам скучно, и всем понятно, о чём речь. Меня, например, крайне напрягает само сочетание слов "безопасность" и "нейронная сеть" в одной фразе -- смотрю на какой-нибудь TensorFlow и уже боюсь-трясусь, до чего опасно, сколько там потенциально этих нейронных сетей в нём спрятано!
-- Вот нормальное рассмотрение "безопасности" роботов -- хотя бы понятно, чего люди боятся (главным образом других людей, ибо сначала нужно обсудить опасность естественного интеллекта, внезапно становящегося опасным. А если мало, то подумайте об объединении опасных интеллектов -- типа той же Северной Кореи, или Российской Федерации, недалеко убежавшей. Не обсудив опасность людей, за другие интеллекты и браться не стоит обсуждать): http://blog.ioactive.com/2017/08/Exploiting-Industrial-Collaborative-Robots.html Нормальная такая технологическая безопасность: охрана роботов от людей-злоумышленников это лучшая безопасность для людей от роботов. Но даже не это главное. Главное, что всё предельно конкретно!
Я придерживаюсь позиции в http://rodneybrooks.com/the-seven-deadly-sins-of-predicting-the-future-of-ai/
[но как раз люди, желающие стать богами в постсингулярном мире, прежде всего создадут сильный ИИ, и дальше нам -- человекам -- будет поздно. Читайте книжки, где это написано про опасность ИИ!]
-- Вот "мы, человеки" это интересная и неочевидная тема. Это чувство общности биологического вида против всех глупей и умней -- по сравнению с чувством общности разумных существ. Тема, многократно поднимающаяся в разной фантастике. Опять же, границы человеческого разума не проходят по границам человеческих тел сегодня.
Книжек много, я же один. Разделение труда в действии: вы будете читать одни книжки, я другие. И иметь другую точку зрения.
В целом же ваш коммент подтверждает: прежде всего нужно обсуждать опасность людей, а не опасность сильного ИИ. Ибо у неглупого человека и десять килограмм динамита страшны, и десять тысяч серверов облака в Амазоне с простейшей нейросеткой, а уж что говорить о более сложных программах совсем не сильного искусственного интеллекта! Сначала внятные обсуждения этого вопроса, на которых сразу становится понятны этические теоремы, на которых строится обсуждение, и только после этого можно обсуждать что-то дальше.
В области спасения человечества от разных напастей ведь много разных мыслей и до искусственного интеллекта обсуждалось -- например, поведение ветхозаведного бога в отношении людей.
Долгая, долгая дорога должна быть пройдена до того момента, как можно начинать что-то обсуждать контрфактически про несуществующий ныне сильный искусственный интеллект. Интеллект большой команды людей, связанных slack и jira тоже ведь повыше интеллекта отдельных людей, и он вдобавок сильный. Вот его и нужно пообсуждать для начала. Почему все министерства нападения в мире называются министерствами обороны, а наши шпионы всегда разведчики, а их разведчики -- всегда шпионы. Сначала с людьми разбираемся, с этическими аксиомами, потом можно нечеловечность обсуждать.
Но каждый обсуждает, конечно, что хочет и когда хочет.
[но людей сделать добрей, разумней и человечней нельзя. Давайте поэтому займёмся этим для искусственного интеллекта -- сильный искусственный интеллект не должен попасть к злым людям]
-- Я не утверждаю, что можно сделать людей добрее и человечнее, или что можно сделать ИскИны добрей и человечнее по тем же самым причинам, по которым можно сделать таковыми людей. Я утверждаю, что буду окружён недобрыми людьми и недобрыми интеллектами. И мне предлагают сделать так, чтобы недобрым людям в руки не попадали другие добрые люди или добрые интеллекты, или недобрым интеллектам не попадали в руки добрые люди. То есть я не разделяю тут разумных существ по их биологической или небиологической природе это во-первых, а во-вторых всегда готов рассмотреть толпы этих разумов, объединённых какими-нибудь коммуникационными сетями с не-очень-разумом (типа программ планирования деятельности). Мой пойнт в том, что обсуждать нужно принципы, и начинать с людей (ибо они уже есть, и проблемы с ними все ровно те же самые, обсуждать удобно). А потом обсуждать разумы разной степени связности между собой, и в разных телах, без различий между людьми и ИИ.
