Тем временем
Anthropic удвоили размер максимального лимита количества сгенерированных токенов для Claude 3.5 Sonnet при запросах через API. Теперь он -
8192!
Чтобы воспользоваться, нужно добавить дополнительный заголовок в запрос на создание сообщения:
"anthropic-beta": "max-tokens-3-5-sonnet-2024-07-15"
Также увеличенное окно доступно в
консоли. В
Claude.ai пока не меняли, но планируют выкатывать.
Сергей Булаев AI 🤖 - об AI и не только