Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Category:

Дифференцируемая машина Тьюринга

В Новосибирске есть маленькая философская секта, которая считает, что "настоящий интеллект" не живёт на машине Тьюринга, ибо она дискретна. А мир не дискретен, он непрерывен. Следовательно, отразить эту непрерывность бытия в дискретных вычислениях нельзя -- и интеллект-на-тьюринге всегда будет недостаточен, уступать "настоящему" (тёплому ламповому) аналоговому интеллекту.

Я считаю, что есть множество контраргументов, и квантованность физического мира тут даже не самый главный. Моделирование вполне непрерывных физических явлений (скажем, турбулентности в расчётах сложных течений) на машине с GPU и 64-битными плавающими тут аргумент сильно получше.

Но мы подошли к интересному моменту, когда пришли нормальные алгебраисты и сделали непрерывную (дифференцируемую!) машину Тьюринга, "Машина Тьюринга с доступом Ли" -- http://arxiv.org/abs/1602.08671. А поскольку эта машина полностью (end-to-end) дифференцируема, то её начали учить (а не программировать!). Например, научили складывать k-значные числа: показали, как это делать для чисел с k больше двух, но меньше 16, но машина обобщила это знание аж до 32-значных чисел!

Конечно, к будущим архитектурам дифференцируемых вычислительных машин это всё имеет такое же отношение, как архитектура машины Тьюринга к архитектуре x86_64 (да, x86 это "победа маркетинга над здравым смыслом", но здравый смысл там далёк от повторения машины Тьюринга в кремнии! В нейронных сетках и дифференцируемых машинах эта победа ещё будет, нужно только подождать -- и тоже не сведётся к повторению машины Тьюринга в уж не знаю, в каком материале).

Но оцените, как это звучит сегодня:
we present a new design of an external memory, wherein memories are stored in an Euclidean key space Rn. An LSTM controller performs read and write via specialized structures called read and write heads, following the design of Neural Turing Machine. It can move a head by either providing a new address in the key space (aka random access) or moving from its previous position via a Lie group action (aka Lie access). In this way, the "L" and "R" instructions of a traditional Turing Machine is generalized to arbitrary elements of a fixed Lie group action. For this reason, we name this new model the Lie Access Neural Turing Machine, or LANTM.
Напомню:
-- машина Тьюринга была предложена Аланом Тьюрингом в 1936 году
-- первый ламповый компьютер ENIAC был запущен в 1946 году
-- первый компилятор "большого" языка (фортран, до этого были только ассемблеры) вышел в 1957 году, хотя задумывался аж с 1954

С нейронными компьютерами, думаю, всё будет побыстрее. Ибо не в первый раз, уже многое известно, и мы даже уже знаем про будущую победу маркетинга над здравым смыслом в этих машинах!
Subscribe

  • Эскиз клубного AI-проекта

    Эскиз клуба создателей на базе продвинутых AI-агентов Когда-то в 2011 году я выступил с эскизом образовательного проекта,…

  • Для каких задач я жду "приличной RAG"

    Регулярно спрашивают, почему я сам работаю с LLM, но в наших курсах на Aisystant выставлена какая-то рудиментарная RAG реализация -- и я явно не…

  • lytdybr

    Опубликовано очередное обновление курса "Системная инженерия", в этой версии переписан раздел "5. Эволюционная архитектура". Уточнена терминология,…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 11 comments

  • Эскиз клубного AI-проекта

    Эскиз клуба создателей на базе продвинутых AI-агентов Когда-то в 2011 году я выступил с эскизом образовательного проекта,…

  • Для каких задач я жду "приличной RAG"

    Регулярно спрашивают, почему я сам работаю с LLM, но в наших курсах на Aisystant выставлена какая-то рудиментарная RAG реализация -- и я явно не…

  • lytdybr

    Опубликовано очередное обновление курса "Системная инженерия", в этой версии переписан раздел "5. Эволюционная архитектура". Уточнена терминология,…