На RuMTEB появилась новая лошадкаru-en-RoSBERTa. Как мы это сделали? Читайте наш препринт.
Кратко: хороший сет, contrastive learning, ru-en выравнивание, prefix tuning и SLERP. И никакого дистиллята и мерджа с топ моделями ;) И без fit on the test is all you need