View in Telegram
Neural Deep | NDT
Продолжаю свои тесты и вот удалось развернуть Qwen2-VL-72B-Instruct-FP8-dynamic на 4х4090 (на immers за 260к деревянных в месяц) с 16к токенами контекста и с не плохой скоростью Cейчас взял этот бенчмарк cmarkea/doc-vqa и упаковал тест в streamlit что бы…
Поменял датасет на вот этот Добавил проверку ответа еще в один шаг LLM модератором 1) Скрин результаты 2) Скрин процесс следил за ним сразу в 3 терминала =) Прогнал на обеих моделях по 250 вопросов из доступных 10к Поставлю на ночь все тогда! Какие еще VL модельки проверить на DocVQA?
Love Center - Dating, Friends & Matches, NY, LA, Dubai, Global
Love Center - Dating, Friends & Matches, NY, LA, Dubai, Global
Find friends or serious relationships easily