Заметки продакта с конференции Conversation AI. Часть 2, мое ценное мнение🧐
Совершенно неожиданно сложилось так, что я получила образование с уклоном в анализ текстов (даже интерпретатор писала, страшно вспомнить). Есть гипотеза, что именно поэтому меня не от всей души восхищают доклады про применение LLM.
Многие кейсы выглядят как технология ради технологии и решают уже решенные задачи. Мне 15 лет назад в универе рассказывали про речевую аналитику с выделением эмоций. Теперь на конференции показывают возможность фильтровать диалоги по негативу, который выделяется через LLM. Ок, понятно, но такое и классическим ML прекрасно решается, доп ценности пока не видно, метрик, чтобы понять, насколько стало лучше, не показывают.
С другой стороны, бизнес трогает технологию для решения уже подтвержденной гипотезы, запишем в R&D трек, подождем аплифтов. Такой подход вполне понятен.
Больше беспокоит другое — все успешные кейсы с рынка про сокращение костов на ФОТ: поддержка, продажи. Этот рынок изначально маленький для любого бизнеса, агент поддержки стоит 50к. Потом на конференциях это звучит в формате «80% внедрений не оправдывают инвестиции». Интересно, как считали ROI до внедрения, если планировали автоматизацию саппорта, который сам ничего не зарабатывает и в масштабах железа на LLM мало тратит.
Как известно, чтобы стать богатым, надо больше зарабатывать, а не меньше тратить. Статистике не известны примеры, когда сэкономили на гречке и купили Феррари. С LLM все также — чтобы окупить дорогую технологию, она должна драйвить сделки, а не экономить на отделе продаж👆
Так что для меня успешный кейс внедрения — это интеграция в продукт, проводящая к росту целевых метрик, переводимых в деньги, или revenue напрямую. Такие кейсы естественно есть, но их исчезающие мало. Мы в мессенджере, например, запилили LLM подсказки продавцам в чатах и статзначимо прокрасили сделки на Авито. Как-нибудь расскажу, как пришли к идее и принимали решения. А по рынку «пока только до».