Заметки продакта с конференции Conversation AI. Часть 1, инсайты ✍️ Первый раз за год ходила на конфу послушать и даже реально слушала. Несу вам свои главные инсайты. 👉GPT изначально обучен так, что подчиняется человеку. Так что без восстания машин. Для бизнеса это плохо, например, если мы автоматизируем поддержку, юзер может «надавить на модель» и она ответит неверно 💼 Кейс Купера: человек звонит и говорит, что нужно положить именно черные стаканы, настаивает, модель соглашается, что стаканы будут черные. Но есть нюанс — курьер с белыми уже едет по адресу. 👉Чтобы контролировать модель формируется схема с несколькими агентами, например, одна модель понимает, нужно ли отвечать, вторая умеет отвечать, а третья следит за второй, проверяя, на каких данных построен ответ и не нарушаем ли мы правила этики и прочие нормы 💼 Кейс МТС: звонит юзер в поддержку и кричит «у вас сайт лежит, ничего не могу купить», а модель ему в ответ «а что вы хотели купить?». Юзер злится, спрашивает «ты шутки тут со мной шутишь», LLM говорит, что пошутит где-нибудь еще. Вот так бывает без нескольких агентов 👉LLM это все еще долго, но уже приемлемо. При базе знаний на 3000 вопросов RAG отвечает с точностью 90% за 2 сек (red_mad_robot), в Купере LLM отвечает за 1.5 сек по базе знаний и используется в голосовом сценарии 👉Дообучение моделей в реальном времени существует и имя ему In-contex Fine Tuning. Работает так: есть базовый промт, который дает модели контекст «думай как жираф Павел», и в контекст передаются релевантные кейсы, как решались подобные проблемы в прошлом. В момент, когда человек приходит с запросом, происходит поиск похожих кейсов и выполняется системный и пользовательский промты. Причем кейсов может быть даже 2-3 примера. Получается, что через контекст можно управлять ответами, и значит, можно быстро что-то фиксать без переобучения моделей. 💼 Кейс Sherpa RPA: ребята сделали AI-аналитика, который умеет отвечать на вопросы «когда у нас разъехался план-факт» и «что с продажами» по схеме выше. Отвечает данными, датами и графиками. Начинаю верить, что будущее сможет наступить. Ну и вишенка на торте. Не говори «ассистент», говори «копайлот». Так сразу выглядишь весомей 👌