На RuMTEB появилась новая лошадка ru-en-RoSBERTa. Как мы это сделали? Читайте наш препринт. Кратко: хороший сет, contrastive learning, ru-en выравнивание и SLERP. И никакого дистиллята и мерджа с топ моделями ;) См. https://huggingface.co/spaces/mteb/leaderboard вкладку для Ru.