Давайте я попробую пересказать содержание некоторых мыслей из текста про "видение и объяснение ситуации в индустрии LLM" (https://t.me/seeallochnaya/1838) в переносе на обучение не сухих, а мокрых нейронных сеток. Мастерство личности зависит от некоторых факторов: 1) количество ресурсов, вбуханных в образование (и как следствие -- количество учебных материалов и талант ученика), 2) качество учебных материалов для дообучения, 3) методы для дообучения. Очень грубо финальный результат можно представить как количество порядков (порядок -- это x10) вычислений во время обучения, что для студентов банально превращается во время обмозговывания учебных материалов -- ибо подкрутить что-то там с мозгом нам затруднительно. Ориентируемся тут на 10тыс. часов, и понимаем, что в данной предметной области можно потратить и 1000 часов, и 100000 часов (50 лет на 40-часовой рабочей неделе). Улучшения с точки зрения алгоритмов дообучения (скажем, не писать конспектов -- это бесполезно, но полезно записывать свои мысли, возникающие по ходу обучения) могут позволить эффективно увеличивать порядок вычислений, не меняя его в реальности. То есть можно придумать метод дообучения, который, например, позволяет получить у слабого мозга качество в 10 раз больше, чем у сильного мозга. Мы как будто обучали мозг больше и дольше, и получили такое же качество. Скажем, можно учить делению в римских числах, это проходили в университетах и это было особым искусством избранных. А можно учить делению в арабских числах, и не тратить на это много времени. Можно даже учить делению на калькуляторе! Учить надо, конечно, давая обратную связь в количестве -- "жизнь научит", RLHF, https://en.wikipedia.org/wiki/Reinforcement_learning_from_human_feedback. Дальше делается утверждение, что прорывов особых в мозгах до сегодняшнего дня не видели, а также не видели особых прорывов в методах дообучения -- разве что учить надо не всякой ахинее, а отбирать качественнейшие данные (учить надо по хорошим курсам, а не по плохим! Не надо учить по ошибочным материалам, это вредно). Ну, и дальше интересный вывод, что чем дольше учить, тем лучше получится. Это мы на людях и видим: школьное образование на десять лет, потом вузовское сравнимой длины (скажем, у медиков вуз, а потом ещё ординатура, и потом надо получать всякие баллы за прохождение курсов, чтобы не лишиться лицензии). Вот и вся гонка интеллектов: кто дольше учит (и, соответственно, кто дольше учится) на более качественных данных -- тот и победил. Дальше мы понимаем, что голым мозгом уже не победишь заведомо. Подключаем нейросети других людей (работа в хорошем коллективе, коллективный интеллект), сухие нейросети (AI) -- и тут у кого мощней эти внешние вычислители, тот и победил, ибо у голого мозга заведомо думалка будет послабее, чем у датацентра с мокрыми или живыми нейросетями.
Вот тут сидит Tim Rocktäschel, начальник команды open-endedness в DeepMind -- https://twitter.com/_rockt. И постит много интересного материала. Скажем, у него пробежала ссылка на интервьюирование нежитью тысяч людей, да ещё и на интересные темы, типа смысла жизни -- https://www.xavierjaravel.com/_files/ugd/bacd2d_67114208dd90424fab15ea241707c4e1.pdf. Понятно, что "смысл жизни" вполне программируемая штука поверх генетических biases, но что там напрограммированно современной культурой? В субъективных состояниях побеждает social connectedness, belonging -- 0.79 всех ответов. Дальше providing support/care, helping -- 0.57 всех ответов. Experiencing joy and happiness -- это уже 0.36 и даже experiencing purpose -- 0.34. Творчество и самовыражение -- только у 0.13 респондентов. Но есть и деятельности, в которых ощущается этот смысл жизни. И тут помним, что правильно интересоваться не "в среднем по больнице", а всё-таки хоть какими-то когортами. И вот тут есть такие цифры. Полюбуйтесь, какие деятельности дают смысл жизни для разной политической ориентации и для разных возрастов -- и сразу видно, что "смысл жизни" для разных людей значит очень и очень разное. Вот они, "воображаемые сообщества" в действии (и там ещё в тексте много подобных иллюстраций, но ещё и помним -- говорить о чём-то, планировать что-то, делать что-то оказываются обычно тремя разными существенно несовпадающими сущностями, так что нельзя всё это принимать за чистую монету, это только "говорить"):
