Интересный рассказ о вызовах, стоявших перед продуктом Секретарь от Т-Банка. Они определились, в чем главная ценность продукта - всегда сообщать клиенту, кто и зачем ему звонил. Ну и от этого уже выстраивали метрики. На первом этапе работает определитель, который сообщает номер и категорию звонка - спам, продажи, опрос итп. Дальше уже диалог. Первая метрика качества - конверсии в диалог, чтобы звонящий сразу после приветствия Секретаря не повесил трубку сразу. Эта метрика легко хачится - если вместо синтетического приветствия "здравствуйте, я секретарь, что передать", говорить живое предзаписанное "алло" - разговор уже почти всегда продолжится. Ну и есть дополнительные ухищрения, типа разнообразия голосов, чтобы роботы по голосу сразу не могли понять, что это робот отвечает. Однако, просто конверсии в диалог из одной реплики - недостаточно. Если ввести метрику глубины диалога, достаточную, чтобы понять цель звонка - конверсия снова сокращается с 80% до 30. И вот тут уже важно человекоподобие собеседника - голос, содержание речи, естественность манеры общения. Еще одна забавная метрика - количество звонков с матом. Если человек матерится, его скорее всего факт того, что ответил робот - раздражает. Но тут выяснилось, что больше всего матерятся родные и близкие, которые хотели с человеком поговорить. И им включать Секретаря просто не нужно. Ну и как обычно, перед тем, как решать задачу с помощью ИИ - сначала стоит как MVP посадить живых операторов, и посмотреть, как они справляются с задачей и каких результатов реалистично достигают - а потом уже с помощью ИИ делать дешевле/лучше. #продуктовость #ml #ai #доклад #конференция #llm #audio #