Капчи для LLM - Anthropic провели хакатон в Сан-Франциско
Собралось более двухсот человек, было немало интересных проектов.
🥇 Первое место заняла команда, которая дала Claude мануал по использованию робота, и при помощи Computer Use Claude смог управлять роботом и выполнять инструкции (хотя с заметными задержками). Задача была достаточно простой, и хотя скорость работы Claude оставляет желать лучшего, сам факт того, что это работает, впечатляет.
🥈 Второе место заняла капча, которую сложно обойти современным LLM с Computer Use. Участники показали несколько способов поймать Claude:
➖ Логические задачки — LLM всё ещё часто ошибаются на таких.
➖ Анимированные паттерны, которые видны обычному пользователю, но не видны LLM, ориентирующейся по скриншотам.
➖ Ловушки — задачи на время, которые человек просто не успеет решить, а LLM справится без вопросов. Конечно, эти решения сложно масштабировать, но задача важная и её нужно как-то решать.
🥉 Третье место занял проект по улучшению ТЗ через обсуждение несколькими агентами.
Причин использовать
Haiku 3.5, участники хакатона не придумали.
@ai_newz