Anatoly Levenchuk (ailev) wrote,
Anatoly Levenchuk
ailev

Categories:

SuperGLUE таки был взят в 2020

Тест SuperGLUE уже был пройден нейросетками T5 от Google и DeBERTa от Майкрософт лучше, чем людьми (https://super.gluebenchmark.com/leaderboard):



Это, кстати, произошло ещё в прошлом году (за 12 часов до нового года): https://twitter.com/sleepinyourhat/status/1344382025986437122.

Опять придётся делать новый набор тестов на понимание языка, старые "трудные для машины" тесты оказались трудней для людей, чем для машин. Вот небольшой обзор состояния понимания естественного языка (NLP/NLU) в 2020 -- https://medium.com/towards-artificial-intelligence/mini-nlp-cypher-mini-year-review-7917e12fb2e5

И никто уже такому не удивляется. Подумаешь, десяток трудных тестов на понимание естественного языка компьютер проходит лучше, чем человек! Кого этим сегодня удивишь?!

SuperGLUE создали в начале 2019, потому что тест GLUE перестал казаться трудным. Ожидали, что он продержится лет пять-шесть. Хватило двух лет.


UPDATE: пост майкрософт, https://www.microsoft.com/en-us/research/blog/microsoft-deberta-surpasses-human-performance-on-the-superglue-benchmark/, общие комментарии -- https://venturebeat.com/2021/01/06/ai-models-from-microsoft-and-google-already-surpass-human-performance-on-the-superglue-language-benchmark/
UPDATE: обсуждение в фейсбук -- https://www.facebook.com/ailevenchuk/posts/10220137563443381
Subscribe

  • Опубликована книга Церена Церенова и Анны Лубенченко "Системное саморазвитие"

    Вышли два тома "Системного саморазвития" Церена Церенова и Анны Лубенченко, первый "Мир в человеке и человек в мире", 490 страниц, (…

  • lytdybr

    Переписано 7% системного мышления. Стараюсь вносить минимум правок в основной текст. Меняю concern на "важные характеристики системы и проекта"…

  • lytdybr

    Начал шестую переписку "Системного мышления", с кейсами в версии 2020 года 518 страниц A4: завёл файл, сделал первую ритуальную правку (заменил год…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

  • 6 comments