- автомашина на полной скорости готовится врезаться во впередиидущий автомобиль. Агент, представляющий водителя в системе управления автомобилем резко поднимает свою автономию и перехватывает управление. Столкновение предотвращено.
- агент, представляющий хозяина в системе управления организацией соглашается на три встречи, но сомневается в четвертой и понижает свою степень автономности, связываясь с принципалом-человеком для получения точных указаний.
Все это обсуждается с двух сторон:
- технической -- нахождение разных критериев "оптимальности" для автономии и алгоритмов, динамически максимизирующих эти критерии
- правовой -- когда нужно определять, кто ответственный за провалы этой "человекомашинной системы". Есть мнение, что можно не только свалить все на принципала, но и попробовать нагрузить ответственностью изготовителя агента, который сделал этого агента каким-то образом разрешающим принципалу привести себя и агента к провалу (то бишь недостаточно дуракоустойчивым).
И тут же выплывает еще одна тема: какая-то реформа гражданского права (tort law) -- ибо страх перед liability заставляет производителей уходить с рынка с одной стороны, а получателями значительной части платежей по искам к производителям являются адвокаты, а вовсе не пострадавшие. Появился даже новый термин -- liability crisis (Гуголь находит его 10600раз), который сейчас раскручивается во множестве отраслей в большинстве развитых стран.
Поэтому судьба автономных агентов может оказаться не такой счастливой, какой ее видят технари, а скорость внедрения систем автономных агентов будет зависеть от скорости и методов решения liability crisis. А то производители просто не будут этих агентов выпускать -- себе дороже.
А ведь софтверщики, как всегда, впереди планеты всей. Они традиционно продают свой софт на условиях as is и ни за что не отвечают, ежели софт почему-то откажется работать. Для них никакого liability crisis не предвидится, хотя голоса за то, чтобы программы подвести под обычное оборудование, раздаются все чаще и чаще. Еще бы не раздавались -- в этом liability бизнесе такие бабки ;)
Поэтому придется автономных агентов делать в виде универсальных компьютеров отдельно и программ отдельно -- зато с законом будет все в порядке... Пока не заштопают дырку...