Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Category:

Мнимая безопасность семантических сетей

Не могу согласиться с тезисом про безопасность семантических сетей (традиционная технология экспертных систем, с поправкой на скромные достижения последних 30 лет их развития и иногда даже добавкой слов "гиперграфы" и "агенты") по сравнению с опасностью нейронных сетей, в которых "не пойми что происходит".

Трудности отладки и сопровождения быстро растущей семантической сети приводят к тому, что роботы на них представляются в разы более опасными, чем роботы на нейронных сетях. Экспертная система MICYN ещё в 80-х не смогла работать именно потому, что трудность поддержания её в адекватном состоянии были неописуемые, и мало кто понимал, как она работает. То, что там внутри была "строгая логика" никого не должно вдохновлять. Много "строгой логики" -- и ни один человечий ум с ней не справится. Логические языки программирования ещё более трудны в освоении, чем функциональные. Программы на них запредельно трудны в отладке.

Хотя чего это я! В силу как раз трудностей отладки и сопровождения семантической сети и агентов на принципах логики роботы на них будут самыми безопасными: они не смогут ни речь понять, ни сдвинуться с места! Grep чего-нибудь в информационной ленте (даже и "семантический grep" с вручную написанным парсером) -- это не физические тапочки найти в соседней захламленной комнате. Чтобы семантическая сеть попала в робота, для начала нужно научить эту семантическую сетку видеть, а потом ещё и моторчиками правильно управлять в реальном времени. И отладить! Хотя даже про отлаженную такую сложную сетку нельзя будет сказать, что она безопасна. И нельзя будет вносить изменения, без вероятности вызвать опасное поведение.

Про нейронные сетки и как научить робота зрительно-моторной координации с их использованием см. мой доклад тут: http://incose-ru.livejournal.com/53902.html (там в конце доклада небольшая дискуссия есть и про "непонятность того, что делает нейронная сетка и поэтому невозможность её использования в опасных ситуациях". Человека тоже сажают в кабину самолёта как самый ненадёжный элемент на нейронной сетке: и именно он считается чуть ли не надёжней и безопасней, чем вся сертифицированная авионика. Если нет других вариантов, возьмут имеющийся наилучший, со всеми его рисками. Риски же от использования автоматики на "логических принципах" и "строгой математике" часто выше).
Subscribe

  • lytdybr

    Очередной апдейт "Методологии" закончен (порядка 50 страниц вписаны за 7 дней -- это была переработка материала из постов, посты были переработкой…

  • Опубликована новая версия курса "Методология"

    Опубликована новая версия курса "Методология". В текущей версии графы создания стали графами создателей. Также добавлены подразделы, описывающие…

  • Двухдневный открытый семинар "Инженерия всего на пороге 2025"

    Я решил провести открытый двухдневный лекционный семинар "Инженерия всего на пороге 2025". Пройдёт в Москве (если кто хочет участвовать очно, но…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 46 comments

  • lytdybr

    Очередной апдейт "Методологии" закончен (порядка 50 страниц вписаны за 7 дней -- это была переработка материала из постов, посты были переработкой…

  • Опубликована новая версия курса "Методология"

    Опубликована новая версия курса "Методология". В текущей версии графы создания стали графами создателей. Также добавлены подразделы, описывающие…

  • Двухдневный открытый семинар "Инженерия всего на пороге 2025"

    Я решил провести открытый двухдневный лекционный семинар "Инженерия всего на пороге 2025". Пройдёт в Москве (если кто хочет участвовать очно, но…