lytdybr
Текст переписан на 50% (650Кзнаков), но на самом деле даже больше (ибо я сегодня не столько переписывал, сколько вписывал в текст главы "4. Системные уровни" большие куски сокращённого перевода принципов эволюции и феноменов жизни, происходящих на основе этих принципов), там . И вот теперь чётко понятно, что овчинка с перепиской стоила выделки: текст стал более фундаментальным и более SoTA. Дальше должно пойти существенно быстрее, нужно только согласовать содержание с потревоженной тройкой инженера-менеджера-предпринимателя. Я предпринимателя удавливаю примерно так же, как стейкхолдера, ибо все его трактуют по-разному, чтобы я ни писал в тексте. А менеджер у меня тоже инженер. И все остальные тоже инженеры/практики/деятели, это и нужно править: ближе к active inference, и мышление тоже должно быть enactive, то есть деятельным/практичным/инженерным/проактивным/трудовым. Много нового я вписывать не планирую, из крупного там ещё нужно будет вписать главу про этику, построенную на базе уже введённого понятия неустроенности. Группа СМС24 завтра получит эти 50% для изучения -- а через пару-тройку дней будет готово и всё остальное. Так что можно считать, что уложился.
Вышел разбор статьи про Gato от DeepMind в "gonzo-обзоры ML статей", с https://t.me/gonzo_ML/966. Я в восторге от тамошнего описания архитектуры нейросеток. При этом у меня руки чешутся отмоделировать сам стиль тамошнего разговора, он волшебен и представляется мне очень правильным языком разговора о техноэволюции в целом. Я вот только что вставлял в учебник системного мышления кусочек о том, что термодинамика, обучение глубоких нейросетей (ровно предмет этих gonzo-обзоров Гриши Сапунова и Лёши Тихонова) и эволюционная биология -- это по факту разные заходы на один и тот же механизм, один и тот же процесс. Поэтому для меня модель разговора Гриши и Лёши про эволюцию нейросеток (они как раз описывают эволюцию нейросеток, и это очень забавно, ибо вроде как сами нейросетки во время обучения должны демонстрировать примерно те же феномены, что и их собственная эволюция, летописуемая в обзорах) интересна тем, что это правильный подход к описанию техноэволюции. Вот примерно так IMHO и нужно летописать фронтир и попытки сдвигать SoTA в самых разных предметных областях. Эволюция нейронных сеток тут очень неплохой сам по себе пример. Вот табличка соответствия понятий термодинамики, обучения нейросетей и эволюцонной биологии (из https://www.pnas.org/doi/full/10.1073/pnas.2120042119):
Катаюсь третий день по "собянинской плитке", и самокат уже немножко опять погремушка: отечественные подшипники дают о себе знать, равно как и отечественная плитка. Когда я работал в исследовательской лаборатории, которую возглавлял лауреат премии ленинского комсомола и по совместительству ректор мединститута, у нас было три типа приборов:
-- капиталистических стран. Они работали, и хорошо работали! Их не надо было чинить, настраивать, они были надёжны и точны (при этом работать я начал там в 1982, IBM PC на 16-битном микропроцессоре вышел в 1980, "личный компьютер", но даже следов такой техники не было).
-- социалистических стран, которые недавно пришли к социализму (Польша, Венгрия, ГДР и т.д.), их надо было чинить, настраивать, они были не очень надёжны и точны, но как-то работали, хотя и плохо.
-- отечественные (советские) приборы. Те самые, про которые говорилось "советский манипулятор не типа мышь, он типа крыс, поскольку сделать его в размерах мыши не представляется технически возможным". Они практически не работали, были в вечной починке и наладке, а их результатам можно было верить с большим трудом. "Битва за урожай", только в науке. Не жизнь, а подвиг и преодоление.
Примерно то же было в одежде. И во всём остальном. Даже у безработных шахтёров во время забастовок при Тэтчер были цветные телевизоры, а в СССР они вроде как где-то были на ВДНХ, но в природе дома даже в крупных городах их ни у кого не было (и этот факт довольно активно обсуждался). Было совершенно понятно, где жить лучше, хотя в учебнике научного коммунизма было написано, что "капитализм тормозит научно-технический прогресс, особенно во время кризисов". Я вот смотрю, как просто на ровном месте возникает тот самый совок, как всё на проектных нормах 3нм оказывается в стане, тьфу, кольцевом стане врагов (СССР в кольце врагов! Как же иначе!), как на третий день загремел у меня отечественный подшипник в самокате, как уже давно забытое разделение на "импортное -- отечественное" вдруг опять появилось за пару месяцев. И понимаю, что добром это точно не кончится. "Нравится, не нравится, империя развалится" (с). Но перед этим будем всей империей внутри кольца врагов завидовать каким-нибудь голографическим телевизорам у безработных газовщиков UK. Сколько при этом "цвета нации" окажется вдруг "иностранными шпионами" (ведь кольцо врагов же!), а заодно и не цвета нации, а всех подвернувшихся под руку, так и считать нельзя будет. И это тоже near optimum. Такому режиму, согласно современным воззрениям, нужно сдохнуть бесчисленное число раз, чтобы эти мемы имперскости начали восприниматься как вредные для людей, а образцами были бы какой-нибудь крошечный по территории Гонконг или тоже крошечное Монако. И имперские позывы приравнивались бы к чему-то лингвистически плохому (неважно, что это означает на самом деле!): неогеноциду, неонацизму, неоимпериализму и т.д. Ибо мемом даёт прямые приказы феному, а обратная связь идёт через вымирание: должны вымереть носители плохих мемов. Ну, или эти носители должны вовремя забыть эти мемы, чтобы эволюция их не вымерла принудительно. В данном конкретном случае имперскости small batch size, мне кажется, и в условиях эволюции должен начинать и выигрывать.
Но боже, какая ностальгия! При этом природа очистилась настолько, что я ежедневно вижу уже месяц Останкинскую башню из своего окна не в дымке. Раньше такое бывало только в эпоху очень больших потрясений (типа когда собака была средством передвижения вокруг дома весной 2020 года). То есть вроде всё хорошо, а перевозки по городу драматически упали. То ли ещё будет. В советское время дороги вообще пустыми были, пробки везде начались только в постсоветский период, люди что-то делать начали. Делать-то и сейчас будут, но это будет как манипуляторы типа крыс. Хорошую вещь импортзамещением не назовут.
Зато мы делаем ракеты (но не спрашивайте, какие именно, и зачем они нужны и сколько на них зарабатываем. Не зарабатываем, мы на них тратим). И покоряем Енисей, но это оказалось не так важно. А также в области балета мы впереди планеты всей. Я вот в этом участвую, по части балета. Вот сегодня в Сокольниках: https://vk.com/wall2449939_4013
UPDATE: обсуждение в чате блога с https://t.me/ailev_blog_discussion/14576
Вышел разбор статьи про Gato от DeepMind в "gonzo-обзоры ML статей", с https://t.me/gonzo_ML/966. Я в восторге от тамошнего описания архитектуры нейросеток. При этом у меня руки чешутся отмоделировать сам стиль тамошнего разговора, он волшебен и представляется мне очень правильным языком разговора о техноэволюции в целом. Я вот только что вставлял в учебник системного мышления кусочек о том, что термодинамика, обучение глубоких нейросетей (ровно предмет этих gonzo-обзоров Гриши Сапунова и Лёши Тихонова) и эволюционная биология -- это по факту разные заходы на один и тот же механизм, один и тот же процесс. Поэтому для меня модель разговора Гриши и Лёши про эволюцию нейросеток (они как раз описывают эволюцию нейросеток, и это очень забавно, ибо вроде как сами нейросетки во время обучения должны демонстрировать примерно те же феномены, что и их собственная эволюция, летописуемая в обзорах) интересна тем, что это правильный подход к описанию техноэволюции. Вот примерно так IMHO и нужно летописать фронтир и попытки сдвигать SoTA в самых разных предметных областях. Эволюция нейронных сеток тут очень неплохой сам по себе пример. Вот табличка соответствия понятий термодинамики, обучения нейросетей и эволюцонной биологии (из https://www.pnas.org/doi/full/10.1073/pnas.2120042119):
Катаюсь третий день по "собянинской плитке", и самокат уже немножко опять погремушка: отечественные подшипники дают о себе знать, равно как и отечественная плитка. Когда я работал в исследовательской лаборатории, которую возглавлял лауреат премии ленинского комсомола и по совместительству ректор мединститута, у нас было три типа приборов:
-- капиталистических стран. Они работали, и хорошо работали! Их не надо было чинить, настраивать, они были надёжны и точны (при этом работать я начал там в 1982, IBM PC на 16-битном микропроцессоре вышел в 1980, "личный компьютер", но даже следов такой техники не было).
-- социалистических стран, которые недавно пришли к социализму (Польша, Венгрия, ГДР и т.д.), их надо было чинить, настраивать, они были не очень надёжны и точны, но как-то работали, хотя и плохо.
-- отечественные (советские) приборы. Те самые, про которые говорилось "советский манипулятор не типа мышь, он типа крыс, поскольку сделать его в размерах мыши не представляется технически возможным". Они практически не работали, были в вечной починке и наладке, а их результатам можно было верить с большим трудом. "Битва за урожай", только в науке. Не жизнь, а подвиг и преодоление.
Примерно то же было в одежде. И во всём остальном. Даже у безработных шахтёров во время забастовок при Тэтчер были цветные телевизоры, а в СССР они вроде как где-то были на ВДНХ, но в природе дома даже в крупных городах их ни у кого не было (и этот факт довольно активно обсуждался). Было совершенно понятно, где жить лучше, хотя в учебнике научного коммунизма было написано, что "капитализм тормозит научно-технический прогресс, особенно во время кризисов". Я вот смотрю, как просто на ровном месте возникает тот самый совок, как всё на проектных нормах 3нм оказывается в стане, тьфу, кольцевом стане врагов (СССР в кольце врагов! Как же иначе!), как на третий день загремел у меня отечественный подшипник в самокате, как уже давно забытое разделение на "импортное -- отечественное" вдруг опять появилось за пару месяцев. И понимаю, что добром это точно не кончится. "Нравится, не нравится, империя развалится" (с). Но перед этим будем всей империей внутри кольца врагов завидовать каким-нибудь голографическим телевизорам у безработных газовщиков UK. Сколько при этом "цвета нации" окажется вдруг "иностранными шпионами" (ведь кольцо врагов же!), а заодно и не цвета нации, а всех подвернувшихся под руку, так и считать нельзя будет. И это тоже near optimum. Такому режиму, согласно современным воззрениям, нужно сдохнуть бесчисленное число раз, чтобы эти мемы имперскости начали восприниматься как вредные для людей, а образцами были бы какой-нибудь крошечный по территории Гонконг или тоже крошечное Монако. И имперские позывы приравнивались бы к чему-то лингвистически плохому (неважно, что это означает на самом деле!): неогеноциду, неонацизму, неоимпериализму и т.д. Ибо мемом даёт прямые приказы феному, а обратная связь идёт через вымирание: должны вымереть носители плохих мемов. Ну, или эти носители должны вовремя забыть эти мемы, чтобы эволюция их не вымерла принудительно. В данном конкретном случае имперскости small batch size, мне кажется, и в условиях эволюции должен начинать и выигрывать.
Но боже, какая ностальгия! При этом природа очистилась настолько, что я ежедневно вижу уже месяц Останкинскую башню из своего окна не в дымке. Раньше такое бывало только в эпоху очень больших потрясений (типа когда собака была средством передвижения вокруг дома весной 2020 года). То есть вроде всё хорошо, а перевозки по городу драматически упали. То ли ещё будет. В советское время дороги вообще пустыми были, пробки везде начались только в постсоветский период, люди что-то делать начали. Делать-то и сейчас будут, но это будет как манипуляторы типа крыс. Хорошую вещь импортзамещением не назовут.
Зато мы делаем ракеты (но не спрашивайте, какие именно, и зачем они нужны и сколько на них зарабатываем. Не зарабатываем, мы на них тратим). И покоряем Енисей, но это оказалось не так важно. А также в области балета мы впереди планеты всей. Я вот в этом участвую, по части балета. Вот сегодня в Сокольниках: https://vk.com/wall2449939_4013
UPDATE: обсуждение в чате блога с https://t.me/ailev_blog_discussion/14576