#nlp #про_nlp #agi_russia 🌸 Генерализация ИИ через языковые модели🦾 🌸 Прекрасная новость начала недели: стартовал прием новых задач и тестов для больших языковых моделей: открытая инициатива и воркшоп GenBench! Инициатива ставит целью коллаборативное создание методологии для оценки LLM — оценивать не только точечные результаты на отдельных задачах, но использовать задачи и методы, позволяющие сделать надежный вывод о способностях моделей к обобщению на навыках, доменах, языках. На сегодняшний момент, это самая подробная методологическая работа по оценке мотивации задач, их структуре, подходам и результатам бенчмаркинга. Making state-of-the-art generalisation testing the new status-quo in NLP Инициатива собирает новые подходы к обобщению способностей языковых моделей: 🟣обобщение/генерализация способностей поверх различных задач 🟣мультиязычность 🟣обобщение на домене, источниках, жанрах текстов 🟣робастность на разных распределениях 🟣обобщения на уровне структуры языка, синтакиса 🟣обобщения на уровне композициональности, семантики Сабмит своей задачи можно прислать до 1 августа! 🌸Сайт воркшопа: https://genbench.org/ 🖥Github: https://github.com/GenBench/genbench_cbt 🖥Статья: https://arxiv.org/abs/2210.03050