Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Category:

От DataOps к NoOps

DataOps -- это тот же тренд, что DevOps: внимание к правой части V-диаграммы, то есть получение из описаний (исходного кода) работающей программы (работающей на целевых серверах и обслуживающей клиента). Ход тот же: совместить разработку и операторскую работу, только речь идёт не о приложениях, а о сниппетах кода и наборах данных для аналитики данных: https://en.wikipedia.org/wiki/Dataops.

Вот вам пара ссылок для начала: https://www.tamr.com/from-devops-to-dataops-by-andy-palmer/ (2015), http://bluehillresearch.com/dataops-a-modest-proposal-for-rethinking-enterprise-data-management/ (2016).

Ещё одна особенность -- мало кто понимает разницу между scientists и engineers, кроме того, что scientist не столько пишет программу, сколько пишет какие-то кусочки кода, думает над результатами их выполнения, формулирует гипотезы, пытается их проверить, т.е. выполняет что-то типа exploratory programming -- https://en.wikipedia.org/wiki/Exploratory_programming, http://www.exploratoryprogramming.org/publications/, примеры типа https://www.mathworks.com/examples/matlab/mw/matlab-ex86842716-use-the-live-editor-to-accelerate-exploratory-programming и т.п.. Так что для DataOps что они делают все сочиняют сами, произвольно комбинируя слова про DevOps, инженерию и науку данных (хе-хе), и посыпая это как перцем и солью идеями agile и lean. И да, ещё это всё про BigData (не спрашивайте, что это).

Несмотря на то, что для DataOps по сравнению с DevOps чуть больше риторики про agile и lean (в том числе в его варианте kanban for development), можно ожидать того же хода событий, что и в случае DevOps: левая часть V-диаграммы остаётся as is, вся из себя agile и lean, а правая часть, "изготовление и интеграция" автоматизируется ускоренными темпами. Без разработчика не обойтись, а хороший оператор должен отсутствовать: всё может и должно работать без него, хороший сисадмин не тушит пожары, а спит -- за него работают скрипты. Так что подобные движения уже давно сравнивают с NoOps.

Термин NoOps, объясняющий цель DevOps появился ещё в 2011 году -- https://go.forrester.com/blogs/11-02-07-i_dont_want_devops_i_want_noops/, и по факту выполняется именно эта программа, до сих пор сторонникам оригинального DevOps приходится доказывать, что чистого NoOps не получится, ибо кто-то должен заниматься этой самой автоматизацией, она сама не появится -- https://blog.appdynamics.com/engineering/is-noops-the-end-of-devops-think-again/. Но тема горячая, вот пост "The 2017 Cloud Trends — From DevOps to NoOps" https://articles.microservices.com/the-2017-cloud-trends-from-devops-to-noops-1d12fa85d433.

Мартовский 2017 текст о подкасте What is "DataOps" and why it matters" так и начинается -- “DevOps,” “SecOps,” “DevSecOps,” “ChatOps,” “NoOps” -- the terms go on and on" -- https://thenewstack.io/delving-dataops-matters/. Вот подборка иллюстрированных определений всех этих ChatOps и CloudOps: http://thevarguy.com/cloud-computing-services-and-business-solutions/dataops-chatops-and-more-offshoots-devops-movement

Так что я ожидаю с DataOps того же результата: наработки инструментария и разговоров про NoOps как конечную цель всего движения, идеальный его результат.

Хотя тут остаётся любопытное место для оговорок. Exploratory programming как суть работы DataOps может дать в итоге неожиданные результаты. Аспект моделирования/онтологизирования (т.е. работа с данными) как то же самое программирование, только с акцентом на exploratory programming довольно слабо изучен. Вот я на эту тему много писал, это всё похоже на типовые рассуждения по идеологии инструментария для DataOps: http://ailev.livejournal.com/1167761.html, http://ailev.livejournal.com/1274210.html, http://ailev.livejournal.com/947180.html, http://ailev.livejournal.com/721298.html. Кстати, идея о том, что разбежавшиеся когда-то со времён Симулы-67 имитационное моделирование и программирование нужно опять объединять, равно как моделирование программ (скажем, на UML) и программирование продолжает жить. Вот свежие материалы трека Towards a Unified View of Modeling and Programming https://link.springer.com/book/10.1007/978-3-319-47169-3. С этой позиции DataOps и DevOps вообще неразличимы, а agile и lean задают ещё и похожесть в части методологии разработки. Это означает, что методология agile и exploratory работы с Data и Dev, равно Cloud, Net и т.д. остаётся, а вот Ops будет всё одно NoOps. System definition трудная часть, system realization -- лёгкая, для заводов-автоматов, тьфу, release/deployment automation
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 7 comments