Интересный рассказ о вызовах, стоявших перед продуктом Секретарь от Т-Банка.
Они определились, в чем главная ценность продукта -
всегда сообщать клиенту, кто и зачем ему звонил.
Ну и от этого уже выстраивали метрики.
На первом этапе работает определитель, который сообщает номер и категорию звонка - спам, продажи, опрос итп.
Дальше уже диалог. Первая метрика качества - конверсии в диалог, чтобы звонящий сразу после приветствия Секретаря не повесил трубку сразу.
Эта метрика легко хачится - если вместо синтетического приветствия "здравствуйте, я секретарь, что передать", говорить живое предзаписанное "алло" - разговор уже почти всегда продолжится.
Ну и есть дополнительные ухищрения, типа разнообразия голосов, чтобы роботы по голосу сразу не могли понять, что это робот отвечает.
Однако, просто конверсии в диалог из одной реплики - недостаточно. Если ввести метрику глубины диалога, достаточную, чтобы понять цель звонка - конверсия снова сокращается с 80% до 30.
И вот тут уже важно человекоподобие собеседника - голос, содержание речи, естественность манеры общения.
Еще одна забавная метрика - количество звонков с матом. Если человек матерится, его скорее всего факт того, что ответил робот - раздражает. Но тут выяснилось, что больше всего матерятся родные и близкие, которые хотели с человеком поговорить. И им включать Секретаря просто не нужно.
Ну и как обычно, перед тем, как решать задачу с помощью ИИ - сначала стоит как MVP посадить живых операторов, и посмотреть, как они справляются с задачей и каких результатов реалистично достигают - а потом уже с помощью ИИ делать дешевле/лучше.
#продуктовость #ml #ai #доклад #конференция #llm #audio #
