SpeechAI Pro

У Гугла в их вайтпейпере про агенты - хорошее описание, что такое агент, и чем отличается от модели.

По большому счету - сводится вот к этой картинке.

Мерседес расказали, как они реализовали своего ассистента для понимания голосовых команд на SLM. Взяли Phi-3 на 3.8B параметров, запрунили до 1.8B, зафайнтюнили, квантизировали в 4 bit и задеплоили через llama.cpp.
В результате, моделька запускается на CPU, занимает < 2Gb RAM, генерит 11tok/sec, умеет в понимание естественного языка и function calling.
Ну, то есть ей можно сказать "че-то душно стало, сделай что-нибудь" - и она пошлет команду на открытие левой форточки.

#llm #ai #ml

Небольшое наблюдение, возникшее из нескольких спонтанных обсуждений.
Хорошие руководители получаются из двух категорий людей:
1. Те, кто служил.
2. Те, у кого родители были/есть крупные руководители.

Список не претендует на то, чтобы быть исчерпывающим, но, думаю, тут есть важное общее - если в модели мира человека есть адекватное представление о том, как функционируют крупные организованные человеческие системы, и как себя в них вести - то он эту роль намного эффективнее осваивает.

#менеджмент

Саммари 9-часового гугловского курса по промпт инжинирунгу за 20 минут.
Очень четко и структурно.

#ai #ml #llm

Компактный тулкит для создания агентов от huggingface.
#llm #ai #ml

У Гриши Стерлига содержательно.

Сбер докатил в прод решение на основе VITS.
VITS облегченный и стриминговый, за счет этого - влез на CPU в приемлемые метрики. Не сказали, правда, на скольких CPU. Рост качества синтеза у них значительный. Впрочем, мы сравнивались с их свежими моделями, и пока что, идем с ними наравне. CPU решение с сопоставимыми метриками у нас тоже есть, знать бы, конечно, как мы в сравнении с ними по TCO. На основе VITS мы тоже пытались похожее решение сделать, но нам не понравилось - уменьшенный VITS у нас плохо звучал и обучение не очень сходилось, а полноценный - тяжеловат. Но Сбер, похоже, в него имел возможность намного больше усилий вложить.
В клонинге, помимо стандартного практически GST и напрашивающегося ICL, они реализовали дообучение модели под промпт прям на сервере. Говорят, докинуло 12% к метрикам(SBS similarity). Помогает с интонациями, скоростью, акцентами и окружением, фоновый шум итп.
LLM-TTS. На текущем этапе - сильно проигрывает их же проду в целом, хотя выигрывает по человечности.
Любопытная метрика PSER - для правильно синтезированных аудио, где разметчики не нашли к чему придраться.
Ну и показали черрипик мультимодального гигачата, с дисклеймером, что пока - он очень сырой.
#tts #ml #ai

Готовый опенсорсный движок голосового ассистента.
Большая часть кода - обертки над основными API распознавания/синтеза/llm, либо их локальными вариантами.
MIT лицензия.
В общем, если хочется что-то взять для старта, чтобы с нуля такое не писать - вполне.

#asr #tts #llm #voice_assistant

В формате профессиональных итогов года:
1. Управленческое.
✔️Понял, что менеджменту надо учиться, даже если думаешь, что умеешь.
✔️Стейкхолдер менеджмент - это ключевое.
✔️Если какие-то из практик и церемоний интуитивно не нравятся - им стоит давать шансы.
✔️Прошел обучение на Product manager и прохожу корпоративный курс для руководителей руководителей, много содержательного.
✔️Очень существенно трансформировал свою команду, но вроде это на пользу пошло в итоге.
2. Техническое.
✔️Вернулся вкус к программированию. Немного изучил rust, с любопытством смотрю блоги именно разработчиков.
✔️Начал осваивать langchain, очень интересно.
✔️Успел немного пообучать tts.
3. Нетворкинг
✔️Завел этот канал, органически подписалось чуть больше 100 человек.
✔️Сходил на AI Journey, послушал очень много любопытного.

В целом - наша команда по прежнему делает foundation модели для обработки речи, и делает это хорошо. Мы немногие в России, кто продолжает делать полностью свои распознавание и синтез. И совсем немногие, у кого в проде работает диффузионная модель синтеза и TDT декодер в распознавании. В обозримом будущем планируется еще много интересного.

Наблюдая за индустрией - профессия "оператор ЭВМ" постепенно превращается в профессию "оператор ЛЛМ". Количество задач, которые можно существенно ускорить или автоматизировать - поражает воображение. Пока что использование таких моделей регулярно обходится дороговато, но потихоньку все больше проникает в массовый сегмент.

Хотя, конечно, теперь будут и специальные супермозги для корпоративных гигантов - позволяющие им сохранять свою монополию.

Думаю, рынок вакансий для датасайентистов и разработчиков особо не поменяется количественно. Но апдейтить свой технический стек надо будет еще регулярнее.

Голосовым ассистентам пока еще есть куда расти в плане качества. Но вылизанность конечного продукта уже важнее, чем технологии внутри, и дальше это усилится.

#ai #ml #итоги

Сбер выложил пачку докладов про симбиоз салюта и гигачата. Вот тут про asr часть.

Рассказали, как обучали новый GigaAM(Hubert на основе кластеризации эмбеддингов предыдущей версии). Есть открытая маленькая и приватная большая версия.
Маленькую можно коммерчески юзать, и это, наверно, интересно. Большую - только в ТГ боте, ну или в Сберовских продуктах. Вывод - Hubert для ASR задачи сильно лучше Wav2Vec2 и Best-RQ при прочих равных.

Мультимодальная модель - проекция эмбеддингов ASR энкодера в токены LLM, дообучение самого энкодера, адаптера, и LoRA внутри самой ллм-ки.

Говорят, что на русском - победили всех, кроме Gemini.
Ничего не рассказали про streaming сценарий и задержки, к сожалению.

#ai #ml #asr #llm #доклад

Ну вот и дайджест https://dzen.ru/a/Z2vnoVVFYRR-ALcw Пока что, игрушка выходить недешевой - саммаризировать 10 статей методом Map-Reduce обошлось почти в 700 рублей. Подайте на токены. Но лайт токены - на порядок дешевле, и при должной сноровке, наверно, можно и из них извлечь полезный результат.

Нашел очень хорошее введение в LangChain - начиная с простейших разговорных моделей и промптинга, и вплоть до RAG и агентов с кастомными тулами.

Вообще, конечно, поразительно - какой мощности инструменты для работы с информацией сейчас доступны для рядовых пользователей, зачастую даже бесплатно.

Ощущение примерно такое, как четверть века назад, когда массово начал распространяться интернет, и его еще не успели засрать рекламой и прочим мусором.

Думаю, в этот раз - с этой задачей справятся значительно быстрее. Но год-другой на понаслаждаться свободой - у нас есть.

#llm #langchain #ml

Досмотрел интервью со Scott Stephenson(Deepgram) и немного поигрался с их демкой voice agent api.

Создавать интерактивную диалоговую систему, имея под рукой технологии синтеза, распознавания речи и обработки текста - все равно сложно. Нужно реагировать на перебивания, быстро реагировать и отдавать ответ. Психологически комфортная задержка - 0.7 секунд, от завершения пользователем фразы, до появления первых звуков синтеза. И это очень сложно.

Тут вся эта инженерная часть сделана, и по моим ощущениям - очень хорошо. Отвечает быстро, на перебивания реагирует моментально и стабильно, даже мой корявый английский распознает безукоризненно.

Ну и да, внутри - llm агент, который знает свой промпт и помнит контекст разговора.

По прогнозам - Scott считает, что как только подобные агенты станут экономически эффективнее коллцентров на Филлипинах(а это в ближайшие год-два произойдет) - их использование станет массовым.

А голосовые интерфейсы пользователя, в целом - не вытеснят все остальные, но займут свое достойное место в одном ряду с текстом и тапаньем.

#ml #ai #speech #agent #llm #asr #tts #podcast

Neil Zeghidour(ex Google, Kyutai) рассказывает о своих работах над AudioLLM, MusicLM и SoundStorm в Google, и затем над moshi.

Очень наглядная эволюция идей и реализаций, аудиопримеры того, как модели на основе семантических и акустических токенов справляются с разными задачами генерации, сколько нужно размеченных данных для каждого случая.

Там еще целый плейлист всякого про аудио фаундейшн модели и кодеки.

#доклад #ml #tts #llm #speech #ai

В четверг и пятницу был на ai journey. Обзор у коллег из Сбера неплохой, писать после него свой смысла мало)
С коллегами из голосовых технологий пообщался - очень открытые и дружелюбные, все подробно рассказали. Клонинг уже неплохой. Переводчик прототипного качества, но вполне понятно, как дотюнить.
Помимо звука я кайфанул от докладов про cv - в сельском хозяйстве(птицеферма) и в футболе(цска).
Центральные темы - мультиагентность, медицина, образование и сильный ИИ в ближайшую пятилетку.
#ml #ai