PostPostResearch: Константин Ефимов и Анастасия Жичкина

Субъективное шкалирование в глубинных интервью
(еще один кандидат на закапывание 🪦)

Когда переходишь из маркетинговых исследований в продуктовые, одна из вещей, которая удивляет – это любовь к оценкам в интервью.

«Оцените интенсивность ваших эмоций от 1 до 10, когда вы…»

В качественных маркетинговых исследованиях так не спрашивают. Потому что у маркетинговых исследователей обычно после качественника есть количественник – где у вас будут все цифры.

А у продуктового исследователя есть внутренний заказчик, у которого KPI и который:

1️⃣ хочет цифры,

2️⃣ не хочет платить даже за очень бюджетный количественник - стоимостью несколько десятков тысяч рублей,

3️⃣ и у которого нет квалификации, чтобы понять, что результаты качественного исследования в цифрах не дают не потому, что не хотят или забывают - а потому, что цифры в качественном исследовании не помогают и даже запутывают.

10, 50 и даже 100% от 6 или 10 человек на неслучайной выборке не говорят нам вообще ничего о распространенности явления - но эти оценки идут в CJM, ещё и разбитые по процентам по этим несчастным 10 людям. Средних баллов по шкале это тоже касается.

Поэтому количественные вопросы на качественнике с надеждой на цифры — это от безысходности. Когда нет денег на количественник и вообще ничего нет. Когда единственная полезная информация, которую несут полученные цифры — это информация о культуре исследований в этой компании.

(единственный случай, когда шкалы могут быть действительно полезны — это когда они нужны как зацепка для разговора с респондентом о его опыте. Когда на вопрос «Как вы себя при этом чувствовали?» человек отвечает «ну, нормально» - можно попросить оценить его свой опыт по 10-балльной шкале, а затем обсудить, почему именно такая оценка - и тогда человеку будет легче рассказать о своих переживаниях, действиях и мыслях).

Если вам очень сильно хочется оставить шкалы в интервью, то можно повысить точность субъективного шкалирования с помощью визуализации - но это не решит проблемы с тем, что на основе данных качественного исследования невозможно сделать количественные выводы. Просто потому, что данных слишком мало.

Поэтому шкалы лучше оставить для количественника.
💽 @PostPostResearch

Нарративное интервью как оптимальный способ добычи руды для построения CJM

❓На нашем курсе по анализу качественных данных задали вопрос:

Мне было бы интересно про построение emotional layer в CJM. Потому что на интервью как-то некомфортно каждые 3 минуты спрашивать “and how did it make you feel?”, часто это вообще ставит респондента в тупик, особенно если мы говорим про какие-то рабочие процессы и их выполняют потому, что надо, не особо задумываясь.

Действительно, это тот случай, когда из-за технологического подхода к получению информации беседа превращается в бомбардировку вопросами. Как и при использовании «5 почему?» - техники, которая разрушает контакт и заставляет обе стороны в интервью чувствовать себя неловко.

А как не бомбить вопросами, если нам нужна информация?
Есть способ дать человек просто рассказать о себе. Он называется "нарративное интервью". Мы просим человека рассказать о выборе или использовании как об истории. И когда человек рассказывает свою историю, то обычно не нужно спрашивать про эмоции отдельно: люди сами о них спонтанно говорят, и этой информации достаточно.

Если продакт настаивает, что ему нужны пруфы об эмоциях на каждом этапе: «пусть он прямо скажет, как он себя чувствовал», то есть еще один способ не бомбить. Сначала для себя очерчиваете границы этапов поиска, выбора и использования: где какой этап закончился, не переходя при этом на отдельные операции.

Сами вопросы о том, как человек себя чувствовал, можно задавать в конце каждого этапа разными словами:

• Как вы оцениваете свой опыт поиска вариантов? Почему именно так?
• Как вы чувствовали себя в процессе выбора?
• Поделитесь вашими ощущениями от процесса покупки?
• Что можете сказать об использовании? Как вы себя ощущали?
(лучше при этом не применять субъективное шкалирование с целью получения объективных данных, они не будут объективными - но можно его использовать как отправную точку для беседы: почему вы оцениваете ваше состояние именно так?)

Тут, конечно, уместен второй вопрос:
Какая именно техника анализа используется/практикуется для анализа нарративного интервью?

Серебряной пули тут, увы, нет. Техника та же, что и у всех – работа с транскриптами (кодировка/группировка).
Но специфика обработки данных нарративного интервью в том, что невозможно взять цитату с целой историей на полстраницы и вставить ее в листочек в Миро. Приходится конспектировать и обобщать некоторые вещи, прежде чем они пойдут на доску.

💽 @PostPostResearch

Хотим рассказать вам о трех каналах, которые ведут исследователи.
Все – о разном, но отлично дополняют друг друга.

1️⃣ «Speaking about my research» от Юлии Кожуховой, психолога, экс-директора департамента исследований VK, а ныне – TBC UZ.

Нам очень интересна тема культуры UX-исследований в компании. Исследовательский отдел может играть совершенно разную роль для компании в целом - и лучше знать заранее, как это бывает, чтобы при выборе работы у исследователя случился match❤️
О культуре UX исследований – серия постов, начиная с этого, которая отлично дополняется фреймворком оценки влияния UX исследований на компанию.

2️⃣ «Аналитика на кубах» от психолога Филиппа Управителева, аналитика в геймдеве.

Чем аналитика может быть интересна исследователям? А тем, что аналитик и исследователь находятся в тех же отношениях, что терапевт и ветеринар из известной шутки про то, что спросить у больного «каждый может». Аналитику, как ветеринару, приходится догадываться, как выяснить реакцию людей на то или иное изменение косвенно, не спрашивая их. Мы очень любим аналитические задачки на этом канале. И, зная, какие фреймворки используют аналитики, исследователям легче будет найти с ними общий язык.

3️⃣ «Просто не грусти» - от социолога и психолога Павла Долгова, CX-исследователя в музыкальной индустрии.

В канале академические концепции в прикладных исследованиях переосмысляются простым и понятным языком. Особенно ценно, что Павел ссылается на источники, и при желании можно «провалиться глубже».
Например, серия постов про теории мотивации. И интересный лонгрид про цифровые и аналоговые интерфейсы.
А еще у него есть библиотека книг по UX, дизайну, социологии, антропологии и психологии.

Все эти каналы мы читаем давно и рекомендуем вам
💽 @PostPostResearch

Когда в интервью уместно применять интерактивные доски?
(уходу Miro из России посвящается)

❓Можно ли фиксировать за респондентом его ответы на вопросы в реальном времени и дать ему возможность видеть их?

❌ Лучше не надо, скажет вам эмпатичный исследователь. Потому что человека это будет смущать.

✅ А когда это не просто можно, а нужно?

Когда вам важна именно схема, а не кусочки опыта. И когда вы точно знаете, что эта схема существует

Это может быть:

1️⃣ схема финансовых потоков: получаю деньги на карту банка X, перевожу на карту банка Y, часть трачу, а часть инвестирую;

2️⃣ экспертное знание: карта рынка, конкурентное окружение, сегменты целевой аудитории;

3️⃣ и в целом - структура любых представлений или действий, там, где такая структура есть.

Схема, которую вы строите вместе с респондентом, помогает воссоздать эту структуру из хаотичной разрозненной информации – и при необходимости эту информацию сразу и дополнить, если она неполная.

Интерактивная доска может пригодиться, если речь идет о экспертизе самого пользователя об устройстве его жизни. Например, Дмитрий Соловьев использует 📹такую технику для фиксации финансовых потоков в финансовой вселенной респондента.

Можно ли что-то делать со смущением пользователя, который, видя свои действия нарисованными на доске, чувствует, что попал в ситуацию оценки: «меня посчитали»?
Можно, если вы поделитесь своим релевантным опытом, прежде чем начнете задавать вопросы «а как это у вас?». Рассказ о себе снимет напряжение и страх оценки.

✅ Чем может быть полезна запись того, что говорит респондент, на интерактивной доске?

1️⃣ Более точная фиксация. Экспертное знание не всегда высечено в граните. Часто оно рождается здесь и сейчас, через фасилитацию со стороны исследователя. Обычное глубинное интервью не структурирует информацию, эксперт может уходить от темы, о чем-то умалчивать или рассказывать хаотично. Но, когда схема его ответов у него перед глазами, эксперт может сказать disregard that уточнить сказанное, с учетом обсуждения. Схема помогает обнаружить лакуны в понимании не на стадии анализа, а во время самой беседы – и сразу выяснить нужную информацию.

2️⃣ Фасилитация и фокусировка: схема перед глазами позволяет думать интенсивнее: ваш собеседник видит, что вы вовлечены в процесс, и это мотивирует его. Но и сама схема перед глазами активизирует его мыслительную работу. Кроме того, схема возвращает человека в русло обсуждения и удерживает его внимание в фокусе - он меньше отклоняется от темы.

3️⃣ Удобство последующего анализа: у вас будут готовые заметки.

4️⃣ Ускорение всего процесса исследования: в нашем последнем проекте аналитик видела эти схемы сразу, и это позволило начать деск быстрее, не дожидаясь ответов всех экспертов.

❓Можно ли применять интерактивные доски для всего? Удобно же - сразу получить заметки.

Можно. Но там, где нет структуры, а есть очень разные спонтанно принимаемые решения, когда в основе никакой схемы или рутины нет - это не будет полезно.

Мы благодарны 🌐Евгению Романовскому за обсуждение и возможность рефлексии по данной технике. Недавно применяли этот формат в экспертных интервью для картирования финансового рынка и связки продуктов с потребностями.

Будем рады обсудить примеры использования таких досок во время экспертных интервью в комментариях.

💽 @PostPostResearch

💽 Открываем продажу билетов на осенний курс "Анализ качественных данных".
UPDATE: Группы на сентябрь 2024 набраны.
Следующий поток в январе 2025. Вы можете записаться в лист ожидания.


На курсе будем обсуждать:

● Как понять, почему люди ведут себя так, а не иначе?
● Какой фреймворк выбрать для анализа причин поведения людей? 
● Что это вообще могут быть за причины, и откуда о них узнать, если я – не психолог и не социолог?
● Когда использовать персоны, а когда – JTBD?
● Как разобраться в разных версиях JTBD?
● Как обобщать данные: таблицы или сторителлинг?
● Как подать полученные данные, чтобы это было понятно и убедительно?

🔥Мы очень любим вести именно этот курс. Анализ, почему люди ведут себя так, а не иначе - это самая интересная часть исследования. На эту часть курса обычно приходят люди, которым интересно докопаться до сути.

Отзывы на курс можно посмотреть здесь.

🌛Группа стартует 3 сентября.
Занятия проходят вечером: с 19.00 до 21.00 по вторникам и четвергам.

В курсе 11 занятий по 2 часа.

Стоимость: 50 000 ₽ / 570 €

Из России билеты можно оплатить прямо на нашем сайте. Если вы хотите оплатить через юрлицо - заявку можно оставить там же.

Теперь мы принимаем платежи через Продамус, а не через Таймпад. Цена билета - именно та, которая заявлена, без дополнительных комиссий (Таймпад брал с покупателя дополнительные 5%).

Не из России курс можно оплатить, написав мне в личку. Я сообщу реквизиты.

🎫 Купить билет

Как тестировать тексты?

Коллега задал вопрос:
«Мне тут предстоит фокус-группы вести, офлайн. Планируем обсуждать концепцию с клиентами. В принципе я с таким работал и примерно представляю, как это делается, но освежить и систематизировать информацию не помешало бы. Есть навскидку какие-то статьи или книги, в которые есть смысл заглянуть?»

Это тот самый случай, когда вам нужно узнать, как люди воспринимают текст: как они его понимают, что им понравилось или не понравилось, и что они по его поводу думают. И здесь фокус-группа отлично дополняется маркерным тестом.

На офлайн фокус-группе раздаете людям текстовые маркеры – красный и зеленый, распечатки с концепцией, и даете инструкцию:

«У вас у всех два фломастера – красный и зеленый. Красным подчеркиваете то, что не понятно или не понравилось – зеленым – то, что понравилось. Затем – поставьте оценку по пятибалльной шкале».

Оценки эти потом считать не нужно. Они нужны для того, чтобы человек в процессе не передумал – потому что, если до него 5 человек из 6 сказали, что концепция плохая, а он поставил 5 – то он может и передумать. Но если он раньше поставил другую оценку - ему придется об этом сказать и как-то это объяснить.

Обычно концепция оценивается по следующим параметрам:
1️⃣ Первое впечатление / спонтанные реакции
2️⃣ Понятность
3️⃣ Достоинства и недостатки
4️⃣ Уникальность
5️⃣ Ценовые ожидания
6️⃣ Мотивационный потенциал

Неочевидные вещи про тесты концепций:

1️⃣ Концепцию мало раздать, вам, как ведущему, ее надо прочитать вслух. Казалось бы, зачем? Затем, что:

🅰️ Это останется на записи и облегчит анализ

🅱️ Люди ленятся читать, а если вы прочитаете вслух, есть шанс, что они это хотя бы услышат.

2️⃣ Нужно менять порядок предъявления концепций на разных интервью или группах, чтобы избежать эффектов последовательности: например, когда все внимательно разбирают ту концепцию, которая оценивается первой, и менее дотошно относятся к двум другим.

3️⃣ Если концепций несколько, не давайте сравнивать одну с другой до того, как их посмотрели все. Сравнение концепций до того, как они все просмотрены, «фреймит» людей на определенную оценку концепций. Без сравнения, скорее всего, эта оценка будет другой. Ранжирование концепций делается после сравнения (и тоже сначала каждый участник сам выбирает своих лидеров, фиксирует оценку, а затем - озвучивает ее).

Что еще посмотреть по теме:
📹 Взаимодействие исследователя и UX-писателя. Митап с Ирой Моториной
📚Памятка: Как выбрать метод исследования для оценки текста

За вчерашний день к каналу присоединилось 70 человек. Напишите в комментариях, откуда вы пришли, нам очень интересно)

Для новых подписчиков: самые интересные посты канала, чат для исследователей.

И наши планы:

💽 Тест оценки знаний по качественным методам исследований. Модель компетенций уже сделали, есть ее предварительное воплощение в виде вопросов, сейчас вместе с коллегами из lost.report работаем над UX самого теста.

💽 Модель ошибок в исследовательских интервью. Продолжение этой работы. В этот раз мы взяли для анализа реальные протоколы обратной связи по нашему курсу, их за 4 года набралось достаточно, чтобы получить количественные данные о распространенных ошибках.

💽 Лонгрид про дизайн выборки в качественных исследованиях (сколько респондентов будет достаточно?). Сначала мы хотели сделать памятку, но как и в любом сложном деле, готовых алгоритмов нет – а есть эвристики.

📚 Книги по коммуникативной компетентности для исследователя

Виталий Болотаев написал пост про топ книг для продуктового исследователя.
Мы решили продолжить эстафету, но поскольку книг много – начнем с коммуникативной компетентности.

Где-то с уровня middle, рост специалиста по качественным исследованиям идет не сколько за счет изучения техник интервью, а за счет изучения смежных сфер – где люди общаются с людьми, но с другими целями и на другие темы. Это могут быть переговорщики, конфликтологи, психотерапевты, и даже сыщики. И все эти люди, так или иначе осмысляют свои навыки общения.

И есть точка зрения, что ключевой коммуникативный навык – это эмпатия. Но это – лишь половина правды. Потому что эмпатия должна дополняться ассертивностью.

Ассертивность — это умение выражать свои мысли, чувства и потребности ясно, открыто и уважительно, не нарушая права и чувства других людей. Это способность устанавливать границы, защищать себя и свои интересы без агрессии или пассивности. В ассертивном поведении сочетаются уверенность, эмпатия и уважение к себе и окружающим.

Для исследователя, да и для любого человека – в жизни и в работе, от ассертивности – одни плюсы.

Поэтому первая книга, которую мы рекомендуем – это классика ассертивного подхода

1️⃣ Мануэль Смит «When I said “No”, I feel guilty»
(в русском переводе – «тренинг уверенности в себе»)
Тут и приемы для отстаивания своей точки зрения, и противодействие манипуляциям, и «права личности». Важно: не все из этих техник подойдут для отстаивания границ с друзьями и близкими: некоторые из этих техник довольно инвазивны, и могут разрушить отношения, choose wisely. Книга короткая, можно прочесть за один вечер. Из минусов – сейчас невозможно найти издание на бумаге, только скачать у пиратов.

2️⃣ «Как сказать. Главная книга по развитию коммуникативных навыков». Мэтью Маккей, Марта Дэвис и Патрик Фаннинг
Эта книга, что называется – «база». И она отлично дополняет первую. Потому что в ней разобраны все нужные понятия – начиная от (активного) слушания, через язык телодвижений и формы манипуляций – к ассертивности. Минусы: упражнения в этой книге лучше пропустить, они довольно культурно-специфичны, и могут вызвать отторжение.

3️⃣ Крис Восс «Никаких компромиссов. Беспроигрышные переговоры с экстремально высокими ставками»
Эта книга имеет особенную оптику. Автор – переговорщик в ФБР, который говорил с террористами и преступниками, удерживающими заложников. Кроме самих приемов и техник – очень интересно почитать историю их создания: в ФБР озаботились поиском новых способов после серии трагичных событий, где переговоры ни к чему не привели.

Эти книги мы рекомендуем в нашем курсе как в модуле «интервью», так и в модуле «влияние исследователя» - поскольку общаться приходится не только с респондентами, но и с коллегами, и с заказчиками.

Будем рады обсудить ваши любимые #книги по коммуникативной компетентности в комментариях
💽 @PostPostResearch

Когда исследователь дает длинную «подводку» к вопросу, игнорируя особенности респондента

#юмор

💽 @PostPostResearch

Короткий или подробный гайд?
Михаил Боде задал у себя в запрещенной соцсети вопрос:
Френды, занимающиеся исследованиями и причастные к ним, а как вы для себя определяете, насколько детализированным должен быть гайдлайн глубинного интервью? От каких факторов это зависит — именно для вас?

Делимся нашим ответом в канале

✅ Когда мы используем короткий гайд:

1️⃣ Сама тема не предполагает большого количества «ветвлений» и дополнительных вопросов. Например, нам нужно выяснить, как у рисеч-лидов принято строить работу с аналитикой: пишут они в отчетах выводы и рекомендации, или нет. И от чего это зависит. Тогда гайд содержит всего 5-6 вопросов, без подробных уточнений. Тут можно просто просить рассказать больше или обращаться к опыту других информантов – «а до вас нам говорили такое, что думаете?».

2️⃣ Когда мы вообще ничего не знаем: можно в начале провести 2-3 нарративных интервью по определенным темам. А потом уже составить развернутый гайд со всеми «ветками» и дополнительными вопросами на основе тех историй, что мы узнали. Важно: подход «любопытство и невежество» НЕ работает в экспертных интервью и в B2B.

3️⃣ Когда нам нужно погрузиться в бизнес заказчика и понять язык, на котором они говорят со своими клиентами. Такие интервью обычно небольшие, на 30-40 минут, и вопросов там не так много.

✅ Когда мы используем подробный гайд:

1️⃣ Интервью на проекте проводят несколько исследователей. Подробный гайд решает две задачи:
🅰️ Синхронизация команды исследователей: все видят, какие «ветки» в разговоре могут появится, и если такая тема всплывает – то можно спросить еще и вот про это и про то. В идеале все участвующие смотрят первые 2-3 интервью, чтобы видеть, как и куда идет беседа.
🅱️ Контроль качества интервью: вопросы помечаются как обязательные и опциональные, а также указан примерный тайминг: всем понятно, чему нужно уделить основное время, а что мы спросим, если будет возможность.


2️⃣ Много задач в рамках проекта: можно забыть задать все вопросы, особенно если вы говорите дольше двух часов. Или, когда нам нужна очень детальная картина (но тут лучше дополнить интервью дневниками).

3️⃣ Когда есть заказчик или команда: подробный гайд, включающий в себя возможные ветки, конкретные вопросы, а также гипотезы/задачи исследования - вселяет в заказчика уверенность, что мы точно обо всем поговорим.

Обычно мы пишем подробный гайд, поскольку ситуации, когда нужен короткий – встречаются реже.
И мы работаем не вопросами – мы стараемся представить, какими путями пойдет беседа, чтобы мы получили ответы на вопросы. На основе этих путей строится структура гайда. Начинаем мы с общих тем (в которых мы ожидаем получить ответы на исследовательские вопросы), а дальше переводим их в общие вопросы, уточняющие вопросы и опциональные вопросы.

Есть точка зрения, что детальный гайд фреймит исследователя. С нашей точки зрения, это вопрос квалификации исследователя. Ну и при изучении пользовательского опыта мы всегда рекомендуем использовать нарративное интервью (в котором зафреймить респондента нельзя в принципе), а не работать цепочками вопросов.

❌ Чего мы НЕ делаем:

1️⃣ Не просим исследователей на проекте задавать вопросы дословно. Они должны быть уместно переформулированы, с учетом контекста беседы, а не зачитываться с листа. В идеале, это выглядит не как «вопрос-ответ», а как интересная спонтанная беседа двух собеседников.

2️⃣ Не идем сразу в «ветки». Пусть респондент сам обозначит свой опыт, и если он связан с дополнительными вопросами, мы их зададим. Если у нас нет готовых вопросов под эту «ветку» - то все равно идем туда за респондентом, если она возникла. Можно использовать элементы нарративного интервью.

3️⃣ «Альтернативами» типа «вы пьете чай или кофе?» - мы не работаем. И никому не советуем.

4️⃣ Не просим исследователей на проекте придерживаться порядка вопросов строго, но если порядок вопросов может повлиять на ответы – то «перескакивать» респондентам тоже не даем.

5️⃣ Не используем «готовые вопросы». Вопросы должны быть уместны, как шутка или комплимент.


Будем рады обсудить в комментариях
💽 @PostPostResearch