Полтора продакта || Галя Ширанкова

Итоги-монологи, тревоги, единороги🦄

Текущий статус — сильно задолбалась. Годовое планирование, тетрис с ресурсами и проект с зоной неопределенности «так еще никто не делал? окей, погнали» сделали свое дело.

Тем не менее, сижу довольная как слон. Это был хороший год.

1️⃣11 выступлений на конференциях, не считая встреч на поболтать

🟢Конверсия в выступление из заявки 80%, спикерам в ИТ рады
🟢Доклад на TeamLead Conf признали лучшим по итогам зрительского голосования. По личным ощущениям, это действительно мой лучший доклад
🟢Вошла в топ самых посещаемых докладов на Product Sense, маленький локальный бренд набирает силу
🟢Первый подкаст, стрим и лекция в настоящем универе

2️⃣45 → 1140 подписчиков на канале

🟢Не забросила, публиковала посты каждую неделю, получилось аж 82 публикации
🟢ERR 60%, 34% подписчиков читают посты за первые сутки. Ну лучшие просто ❤️
🟣так и не привыкла к отпискам, каждый пост уносит по 3-4 подписчика, а может и 8! Страдаю каждый раз и жду лайков как деда мороза.

3️⃣Вяло менторила продактов и реально помогла 2 менти: миддлу и продакт лиду. Котики, надеюсь, вы себя здесь узнаете. Горжусь нашими результатами 🫂

4️⃣Стартанула огромный проект. Провели за полгода 7 экспериментов, доказали гипотезу, получили ресурсы. Прямое влияние на стратегическую ставку Авито, пока не до конца понятная технология LLM и 100% азарта. Сюда нанимаю, но давайте уже после праздников 😅

С Новым годом, ребята! Желаю вам внутреннего равновесия и никаких барьеров на пути в вашем новом году и с вашими целями 🥂

Обещала стрим, публикую стрим.
Поговорили про метрики мессенджера Авито, тренды и будущее. И, конечно, обсудили наши бомбические LLM-подсказки в чатах 🌏

Позвали меня как-то прочитать лекцию студентам в Вышке. А я и прочитала.

Получилось очень кайфово, много вопросов, живое обсуждение. Жду встречи на созвонах через пару лет 😊

Контента набралось на 4 академических часа, в основном по мотивам прошлых докладов. Адаптировать весь этот багаж для ребят, которые могли никогда не слышать про когорты и метрики, задача со звездочкой, но оказалась вполне выполнимой.

Обещала опубликовать подборку конспектов, куда можно вернуться-почитать:
📌Как работают голосовые помощники

📌Гайд по работе с метриками пользовательского опыта

📌Краткая инструкция по retention


И видео “ML не магия”, если не любите читать 📺

Заметки продакта с конференции Conversation AI. Часть 2, мое ценное мнение🧐

Совершенно неожиданно сложилось так, что я получила образование с уклоном в анализ текстов (даже интерпретатор писала, страшно вспомнить). Есть гипотеза, что именно поэтому меня не от всей души восхищают доклады про применение LLM.

Многие кейсы выглядят как технология ради технологии и решают уже решенные задачи. Мне 15 лет назад в универе рассказывали про речевую аналитику с выделением эмоций. Теперь на конференции показывают возможность фильтровать диалоги по негативу, который выделяется через LLM. Ок, понятно, но такое и классическим ML прекрасно решается, доп ценности пока не видно, метрик, чтобы понять, насколько стало лучше, не показывают.

С другой стороны, бизнес трогает технологию для решения уже подтвержденной гипотезы, запишем в R&D трек, подождем аплифтов. Такой подход вполне понятен.

Больше беспокоит другое — все успешные кейсы с рынка про сокращение костов на ФОТ: поддержка, продажи. Этот рынок изначально маленький для любого бизнеса, агент поддержки стоит 50к. Потом на конференциях это звучит в формате «80% внедрений не оправдывают инвестиции». Интересно, как считали ROI до внедрения, если планировали автоматизацию саппорта, который сам ничего не зарабатывает и в масштабах железа на LLM мало тратит.

Как известно, чтобы стать богатым, надо больше зарабатывать, а не меньше тратить. Статистике не известны примеры, когда сэкономили на гречке и купили Феррари. С LLM все также — чтобы окупить дорогую технологию, она должна драйвить сделки, а не экономить на отделе продаж👆

Так что для меня успешный кейс внедрения — это интеграция в продукт, проводящая к росту целевых метрик, переводимых в деньги, или revenue напрямую. Такие кейсы естественно есть, но их исчезающие мало. Мы в мессенджере, например, запилили LLM подсказки продавцам в чатах и статзначимо прокрасили сделки на Авито. Как-нибудь расскажу, как пришли к идее и принимали решения. А по рынку «пока только до».

Заметки продакта с конференции Conversation AI. Часть 1, инсайты ✍️

Первый раз за год ходила на конфу послушать и даже реально слушала. Несу вам свои главные инсайты.

👉GPT изначально обучен так, что подчиняется человеку. Так что без восстания машин. Для бизнеса это плохо, например, если мы автоматизируем поддержку, юзер может «надавить на модель» и она ответит неверно
💼 Кейс Купера: человек звонит и говорит, что нужно положить именно черные стаканы, настаивает, модель соглашается, что стаканы будут черные. Но есть нюанс — курьер с белыми уже едет по адресу.

👉Чтобы контролировать модель формируется схема с несколькими агентами, например, одна модель понимает, нужно ли отвечать, вторая умеет отвечать, а третья следит за второй, проверяя, на каких данных построен ответ и не нарушаем ли мы правила этики и прочие нормы
💼 Кейс МТС: звонит юзер в поддержку и кричит «у вас сайт лежит, ничего не могу купить», а модель ему в ответ «а что вы хотели купить?». Юзер злится, спрашивает «ты шутки тут со мной шутишь», LLM говорит, что пошутит где-нибудь еще. Вот так бывает без нескольких агентов

👉LLM это все еще долго, но уже приемлемо.
При базе знаний на 3000 вопросов RAG отвечает с точностью 90% за 2 сек (red_mad_robot), в Купере LLM отвечает за 1.5 сек по базе знаний и используется в голосовом сценарии

👉Дообучение моделей в реальном времени существует и имя ему In-contex Fine Tuning. Работает так: есть базовый промт, который дает модели контекст «думай как жираф Павел», и в контекст передаются релевантные кейсы, как решались подобные проблемы в прошлом. В момент, когда человек приходит с запросом, происходит поиск похожих кейсов и выполняется системный и пользовательский промты. Причем кейсов может быть даже 2-3 примера. Получается, что через контекст можно управлять ответами, и значит, можно быстро что-то фиксать без переобучения моделей.
💼 Кейс Sherpa RPA: ребята сделали AI-аналитика, который умеет отвечать на вопросы «когда у нас разъехался план-факт» и «что с продажами» по схеме выше. Отвечает данными, датами и графиками. Начинаю верить, что будущее сможет наступить.

Ну и вишенка на торте. Не говори «ассистент», говори «копайлот». Так сразу выглядишь весомей 👌

Вчера этому каналу исполнился год🎂
Пора снова знакомится. Меня зовут Галя Ширанкова, я Product unit lead в Авито, ментор для продактов и (внезапно) автор канала на 1000 человек.

Это был крутой год, я много писала разного и изучала контентные стратегии. А еще у меня появились вы ❤️

Для тех, кто недавно присоединился, рассказываю, что тут происходит:
🔵я регулярно выступаю на конференциях и публикую здесь конспекты докладов и видосы
🔵рассказываю, как расти в больших корпорациях
🔵 делаю заметки о продуктах и людях, которые их делают

Вот топ постов, которые вам понравились:
📌 первое правило джентльмена и как брать ответственность
📌 чеклист партнерства: продакт + тимлид = ?
📌 middle это состояние души и в чем отличие от сеньора
📌 почему продакт никогда не mini-CEO?
📌 краткий гайд по retention
📌 как регулярно менять структуру команды для целей продуктовой стратегии
📌 ищем деньги в продуктах без прямой монетизации или как управлять платформой
📌 ошибки молодого лида

Спасибо, что читаете!
Stay tuned 🚀

Все, завязываю, последняя конференция в этом году. Приходите на мой доклад «ошибки молодого лида» на TeamLead Conf++

📍Сколково, зал Шанхай-Пекин, завтра, 28 ноября, 12.40

Доклад будет про аксолотля Виталика, который как раз недавно стал лидом. Но под капотом глубокая рефлексия собственного роста и наблюдения за командами длиной в 15 лет. С уверенностью могу сказать, что лидовая позиция не щадит никого: и продакты, и разработчики совершают одинаковые ошибки после грейдапа.

Карточки с тезисами завтра опубликую. А пока вот фото прошлогодней конфы, с которой начался этот канал 🫶

Большому человеку — большие метрики📊

По сути рост — это увеличение зоны влияния на компанию. А как влияют продакты на компанию? Через метрики.

Выбор правильной North Star для продакта не менее важен, чем для самого продукта. Если хочется расти, нужно буквально ставить на то, что важно CEO:
✅перестать работать с прокси в восемнадцатом колене и радостно репортить 50% роста (никому кроме команды неведомо это много или мало, и зачем вообще все это надо)
✅не придумывать свои метрики, если компания ставит в других, а работать ровно с тем, что просили. Если все как основную метрику считают конверсию в покупку, то либо доказывай на уровне компании, что считать надо абсолюты, либо считай конверсию
✅ при постановке целей исходить из того, насколько можно качнуть бизнес-метрики, а не из текущего беклога.

Это залог успеха — достигать то, что просили, и искать пути, как это сделать. При такой схеме очень быстро окажется, что вы влияете напрямую на деньги, реализация целей требует нескольких новых продуктов, а где увеличение портфеля, там и рост 👍