Когда появились ультраглубокие сети (residual networks), которые реализовали идею ультраабстрактности, то выяснилось, что они тоже внутри клочковаты -- по факту представляют собой какие-то ансамблевые структуры, работающие внутри глубокой сетки.
Вот только несколько ссылок, показывающих тренд на разборку в этом направлении:
-- обзор residual neural networks: https://blog.init.ai/residual-neural-networks-are-an-exciting-area-of-deep-learning-research-acf14f4912e9#.k2bkvbvoc
-- Residual Networks are Exponential Ensembles of Relatively Shallow Networks (обнаружение "нейроонтик", островков-клочков абстракции) https://arxiv.org/abs/1605.06431
-- Wide Residual Networks (успешная попытка уменьшить число уровней абстракции-слоёв сети за счёт более богатых представлений на каждом уровне -- т.е. сделать сеть более широкой, чем глубокой. Это довольно контринтуитивно, ибо выразительные широкие сети обычно проблемны в части трудоёмкости вычислений и это компенсируют как раз увеличением глубины. Но оказалось, что такой ход не универсален): http://arxiv.org/abs/1605.07146
-- FractalNet: Ultra-Deep Neural Networks without Residuals (идея регуляризации архитектуры сверхглубоких сетей на основе самопохожести фрагментов этой архитектуры -- если продолжить эту аналогию с онтологическими разработками, то это шаг к фрактальным foundational ontology): http://arxiv.org/abs/1605.07648
Если вернуться к мокрым нейронным сеткам, то можно вспомнить замечание про ограниченность число уровней этой сетки в неокортексе, зрительной коре и далее по всему списку. Это означает, что мощность представления мира в мозгу ограничена: ум человека оказывается ограничен его физической конструкцией. Построение сухих более глубоких по сравнению с мокрыми сеток -- это один из путей снятия барьеров в моделировании сложного мира, снятия барьеров с восприятия и мышления. Искусственные нейронные сети могут представлять мир на бОльших уровнях абстракции, работать с бОльшим количеством неименованных сущностей (т.е. иметь бОльшую интуицию), справляться с бОльшим количеством альтернативных представлений мира (большим количеством онтик).
Это рабочее объяснение того, что искусственные нейронные сети начинают получать сверхчеловеческие результаты уже сейчас. Напомню слова Сергея Шегурина: "Практика показывает, что современные нейросетки на любой конкретной метрике достигают лучшего, чем люди, результата, то есть мы просто не совсем правильно формулируем им задачку, а решают-то они её превосходно" (http://ailev.livejournal.com/1237324.html).