?

Log in

No account? Create an account
Лабораторный журнал -- Day [entries|friends|calendar]
Anatoly Levenchuk

[ website | Лабораторный журнал ]
[ userinfo | livejournal userinfo ]
[ calendar | livejournal calendar ]

Теория сознания как схемы внимания -- attention schema theory [09 Jun 2015|02:15pm]
Мышление устроено схемно, я и системноинженерному мышлению так учу -- как схемному. Но вот kusha навёл меня на схемную модель внимания и сознания: http://journal.frontiersin.org/article/10.3389/fpsyg.2015.00500/full (более попсовое изложение: http://aeon.co/magazine/philosophy/how-consciousness-works/). Репрезентации внтури репрезентаций внутри репрезентаций. Representational learning, representational attention, representational awareness. Мысль проста: consciousness is a schematic model of one’s state of attention. Attention is a data-handling method used by neurons.

Внимание и сознание не совсем одно и то же, сознание только схема (модель, упрощение) для сложнейшего процесса выборки победителя в конкуренции за вычислительные ресурсы мозга, то есть сознание это схематическая модель внимания. Нейронные сетки уже начинают обращаться к концепции внимания, чтобы выбирать объекты более подробных вычислений (ссылки я приводил в http://ailev.livejournal.com/1191576.html -- "Karpathy прямо говорит, что "The concept of attention is the most interesting recent architectural innovation in neural networks"). Следующая архитектурная новация может быть как раз посвящена сознанию: управление вниманием на основе аппаратно поддерживаемой модели внимания. И изучать тут нужно не столько deep learning, сколько объемлющий класс: representation learning (http://ailev.livejournal.com/1045081.html).

Тут не лишне напомнить, что само понятие "схемы" используется отнюдь не только для инженерных схем и моделей. Уже понятно, что логические уровни, схематизация, моделирование и представление (representation) это всё про одно и то же, равно как и паттернирование -- описание одним текстом другого (помним, что символом может быть не только "буква", но и что угодно, хоть атомная станция, хоть листик на дереве. "Всё есть текст", если известна схема, паттерн, репрезентация, метамодель и т.д., а работает с этим дисциплина информатики (http://ailev.livejournal.com/1008054.html). В философской энциклопедии схема так и определяется, как linguistic template or pattern together with a rule for using it to specify a potentially infinite multitude of phrases, sentences, or arguments, which are called instances of the schema. Schemas are used in logic to specify rules of inference, in mathematics to describe theories with infinitely many axioms, and in semantics to give adequacy conditions for definitions of truth (http://plato.stanford.edu/entries/schema/).

Понятное дело, что "схема" тут не самое главное слово. Так, даже в википедийной статье про схемы в психологии говорится, что есть и другие термины для обозначения схемы, such as "frame", "scene" and "script" (http://en.wikipedia.org/wiki/Schema_%28psychology%29). Так что дело не в слове, дело в схемо-ориентированной онтологии.

А теперь про нотационную инженерию, визуализацию и т.д. -- это ведь про то же самое, presentations-representations и "описания схем" (диаграммы). Вот некоторое количество ссылок на тему "как выражать схемы" (aka про "схемные языки" -- нам ведь хочется в конце концов не просто поразмышлять над "схемами в основе сознания", но и сделать моделер принципиальных схем общего вида):
-- диаграммы как средство выражения топологии предметной области: http://ailev.livejournal.com/1069810.html (и там ссылка на обзор Wayne H. Osborn http://cogsci-online.ucsd.edu/3/3-4.pdf).
-- о выборе «для дураков» или «для профи»: http://ailev.livejournal.com/1158826.html и вот про Julia http://ailev.livejournal.com/1140646.html
-- презентация Bezivin про моделирование против программирования -- http://cbi2014.unige.ch/documents/CBI2014.TowardsCrossDisciplinaryPractices.JeanBezivin.pdf
-- representation learning и representation engineering: http://ailev.livejournal.com/1045081.html
-- теория категорий для выражения схем: http://ailev.livejournal.com/1154791.html (там ссылки на работы Баеза в рамках Network theory, ибо нам нужны языки для принципиальных схем)
-- про наслоение языков и связь «природы» и «языков» через математику -- тут в комментах: http://baaltii1.livejournal.com/573648.html. Вспомнил, как я определял информатику в http://ailev.livejournal.com/1008054.html: "Информатика -- это работа агентов (людей и компьютеров) с текстами и кодами", в число агентов можно после этой дискуссии смело воткнуть природу (а желающие могут добавить какого-нибудь бога или даже целый пантеон типа индуистского или синтоистского).

Итого: разрабатываем representation learning с вниманием и сознанием, управляем вниманием и выводим на уровень сознания схемы при моделировании мира, радуемся жизни.

Чтобы уж совсем всех смутить, добавлю чуть перефразированную свою любимую байку про корпоративное бессознательное:
-- индивидуальное сознание это то, что под влиянием внимания представлено в кортексе. А что не представлено, то индивидуально бессознательно-внесознательно.
-- корпоративное бессознательное -- это то, что представлено в индивидуальных кортексах и экзокортексах индивидуальным сознанием. А вот что представлено в shared экзокортексах (корпоративных информационных системах, канбан-досках на стенах, доступных в библиотеке книжках) -- это и есть корпоративное сознание.

И мы (в соответствии с attention schema theory) теперь понимаем, что все эти книжки про KanbanLean и визуальный менеджмент -- это лишь способ схемно поуправлять корпоративным вниманием.

UPDATE: в фейсбуке некоторый разговор по этому посту про конструктивизм против позитивизма -- https://www.facebook.com/groups/nevronet/permalink/501259996706993/ (в community Российская группа нейронета).
15 comments|post comment

deephack.me -- хакатон по deep learning в МФТИ [09 Jun 2015|07:10pm]
Я буду в жюри хакатона http://deephack.me/ ("Играй с интеллектом!") -- он будет 19-25 июля 2015 в МФТИ. В фейсбуке это https://www.facebook.com/groups/DeepHackGame/.

Задача хакатона -- повторить достижение DeepMind по обучению играм Atari (DeepMind (http://arxiv.org/abs/1312.5602, https://sites.google.com/a/deepmind.com/dqn/. Кстати, есть уже воспроизведения алгоритма, например https://github.com/kristjankorjus/Replicating-DeepMind/wiki, https://github.com/spragunr/deep_q_rl). А ещё лучше не повторить, а улучшить: нащупать возможные пути прорыва за границы имеющихся подходов.

Какая из 49 игр Atari будет предметом хакатона, выяснится только в финале -- так что фишка не в том, чтобы запрограммировать алгоритм победы, а чтобы запрограммировать самообучающуюся выигрывать программу.

Официальный пресс-релиз и подробности выйдут через несколько дней, но вы уже начинайте готовиться -- 19 июля наступит быстро, а на самом хакатоне много не сделаешь. Регистрируйтесь, связывайтесь с организаторами (там в самом конце страницы хакатона есть телефоны). Думаю, будет весело, программно и (учитывая участие NVIDIA) аппаратно.
post comment

Каникулярная физика [09 Jun 2015|08:49pm]
Отрок сегодня вполне успешно прошёл собеседование в школу "Потенциал" (http://potential.org.ru/Home/leto) и его записали в группу "после 7 класса". Ибо математику на уровне физматшколы 7 класса он более-менее знает. Но одна проблема: там будет и физика тоже. Поэтому в оставшуюся до понедельника почти неделю ему будет преподан крэш-курс физики. Вот и проверим, облегчает ли хорошее знание математики освоение физики. В любом случае, эту физику ему дадут в летней физматшколе, потом догонят и ещё дадут -- крэш-курсом и летней физматшколой МФТИ дело не ограничится.

К концу лета физику он знать будет на уровне "надёжно натренировано". Жена удумала использовать сразу три книжки вперемешку:
-- учебник для 7 класса Сфера (Белага и др.) как пропедевтику "с картинками",
-- материал с разбором примеров для заочной школы МИФИ как основное блюдо (там даже составитель не указан, присылается самой заочной школой -- http://www.mifi.ru/)
-- элементарная физика Ландсберга, чтобы жизнь мёдом не казалась. На моё недоумение про уместность Ландсберга в седьмом классе жена флегматично заметила: "А что?". На это у меня не нашлось ответа. Хотя Ландсберг планируется не весь, а только некоторыми кусочками.

При затыках в качестве тренажёра -- Пёрышкин, куда ж без него. Всякие компьютерные физ.моделеры и учебные среды (http://ailev.livejournal.com/1189554.html), видеообъяснения, дополнительные задачники для пробивания затыков будут определяться по ходу дела.

Для заглянцовки и повторения отрок решит задачки заочной школы МИФИ, отошлёт решения и курс физики за 7й класс на этом будет считаться законченным -- плановый срок тут до конца лета.

Виталик сегодня сказал по скайпу "Пока! До августа!" -- и укатил на дачу. В освободившееся от него игровое время немедленно был расчехлён StarCraft II (в который не игралось уже больше года). Опять у нас терраны, протоссы и зерги. И никакого программирования, увы (хотя StarCraft II тоже вполне скриптуем, на си-подобном языке Galaxy). Но не заводится к скриптованию и игроделанию достаточно интереса, так что образование по информатике пока on hold.
2 comments|post comment

Первый скандал по deep learning спорту [09 Jun 2015|09:31pm]
Первый скандал по читерству в спорте deep learning разразился аж с Baidu -- www.technologyreview.com/view/538111/why-and-how-baidu-cheated-an-artificial-intelligence-test/ (я писал про их "победу" тут -- http://ailev.livejournal.com/1155165.html). По правилам можно тестировать своё решение дважды в неделю, но Baidu умудрилось вчетверо превысить эту записанную в правилах норму.

Интересно, когда победителей начнут проверять на допинг. Спорт всё-таки.
2 comments|post comment

navigation
[ viewing | June 9th, 2015 ]
[ go | previous day|next day ]