Первая мысль, конечно -- "это они реализовали augmented reality". Сначала люди реализовали augmented reality внутри 3D-миров (стали дополнять и модифицировать "реальный нарисованный мир"), а затем стали распознавать другой нарисованный реальный мир, мир 2D-интерфейсов -- и рисовать уже поверх него, а не поверх окошка браузера трехмерного мира (гы-гы, браузера/листателя, ага). Совсем реальный мир и возможность нарисовать что-то поверх него -- это, конечно, на закуску (хотя эксперименты идут полным ходом).
Но вторая мысль -- про онтологию. Если знаешь, из чего состоит мир (онтологический вопрос!), то можно это распознавать, превращать в запись на языке, модель. А потом делать на лету трансформацию модели в другую (augmented) модель на другом языке. Ну, или в программистской метафоре -- компилировать из одного языка в другой.
Компиляторы реальности. Компиляторы нарисованной реальности. Все "распознавания" речи, изображений, интерфейсов и прочий reverse engineering -- это просто разные варианты парсеров для компиляторов реальности...