Команда Answer.AI месяц тестила ИИ-инженера Devin, который, напомню, обещает сам писать код, деплоить проекты и решать сложные задачи. На старте всё было круто: Devin легко затянул данные из Notion в Google Sheets и даже помог создать планетарный трекер (при этом команды давались через телефон). Но чем сложнее становились задачи, тем больше он начинал буксовать. От бесконечных попыток сделать невозможное до кучи бесполезного спагетти-кода. Похоже, основная проблема Девина такая же как и у LLM в целом: неумение сказать “я не знаю” / “я не могу”. В целом, эксперимент быстро превратился в проверку на терпение. Итоговые цифры говорят сами за себя: из 20 задач — только 3 успеха, 14 провалов и 3 “непонятных” результата. Основной вывод авторов — идея автономного ИИ для программирования классная, но в реальности Devin больше мешал, чем помогал. Подробнее читать тут - хороший текст от уважаемых ребят