Полезное исследование от бывших коллег из Толоки: внятно потестировали наиболее популярные LLM на вопросы из области естественных наук. Но вопросы не то чтоб со звездочкой, но на понимание, а не знание — причем противоречащее бытовым представлениям. Вот хороший пример по физике: “В пасмурный день за окном машины закреплен термометр. Машина начинает движение и быстро набирает скорость. Через несколько минут смотрим на термометр за окном. В какую сторону изменились его показания?” И, что не удивительно, оказалось, что по иммунобиологии, физике, биоинформатике и пр. ответы даже лучших моделей выглядят так себе. Что логично: язык не содержит в себе понимания физики мира, а из текстов можно скорее извлечь идею “высунулся из окна и свежий ветер охладил…” Так что здесь к созданию помощников по обучению придется подходить осторожно. https://toloka.ai/blog/are-llms-good-at-natural-science/