Что не так с тестами на культурную принадлежностьНедавно канал
«Психология эмиграции» запостил популярный
тест, который показывает, на жителя какой страны вы похожи культурно и ценностно. В комментариях обсуждали, насколько тесту вообще можно доверять. Дело в том, что он часто выдавал страну, с которой респондент никак себя не ассоциирует, и это вызвало споры.
Тест вирусится уже не в первый раз, поэтому я решила разобраться в том, как работают такие инструменты и насколько они справедливые.
Что лежит в основе теста The Cultura CompassТест опирается на исследование
World Values Survey (WVS). Это огромный многолетний проект, который изучает ценности людей по всему миру.
WVS поражает своим масштабом и стандартами сбора данных:
🔜Проект длится с 1981 года. За это время провели уже
7 раундов исследований, что позволяет судить о мировоззрении людей в динамике.
🔜В последнем раунде было опрошено почти
100 тысяч человек из 90 разных стран. Опросы проходили не только в крупнейших городах, но и в регионах.
🔜Для исследования используют не анкету, а
жестко регламентированное личное интервью на местном или родном языке респондента. Это делает ответы более достоверными и помогает убедиться, что человек правильно понял вопрос.
🔜Опросник включает в себя 80 вопросов, которые помогают выделить ключевые жизненные ценности респондента. Если учитывать подвопросы, получится целых 258 пунктов. Спрашивают про семью, работу, отношение к окружающим, политике, религии и многое другое.
🔜По итогам всех интервью исследователи составляют ценностные карты различных обществ
— так называемые
диаграммы Инглхарта. Они позволяют социологам, политикам, журналистам и другим профессионалам сравнивать страны между собой.
Значит, тесту можно доверять?Создатели
объясняют, что обучили нейронную сеть на данных World Values Survey и создали упрощенный тест, включив в него часть вопросов из оригинальной анкеты.
Я не эксперт в нейронных сетях, поэтому не могу говорить об эффективности модели. Но как специалист по межкультурной коммуникации вижу несколько проблем:
🔵Из 258 вопросов оригинальной анкеты в тест попали 18, часть из которых содержит не все варианты ответов. Предполагается, что комбинации ответов именно на эти вопросы наиболее важны для результата. Хотя на сайте есть довольно большой раздел с объяснением модели, разработчики не сказали о главном: насколько пострадала точность теста после того, как из него убрали большую часть вопросов.
🔵Тест переведен на русский с довольно субъективным переложением англоязычных вопросов. Для других языков доступен машинный перевод. Как я уже говорила, исследователи WVS следуют четкому протоколу интервью и комментируют каждый пункт, чтобы снизить шанс недопонимания. Здесь же суть вопросов теряется за счет перевода.
🔵Команда разработчиков создает сайты, продвигает цифровые продукты и делает веб-дизайн.
Скорее всего, тест сделали для промоушена и достоверность не была основным приоритетом.🔵О субъективном: я получила 80% совпадения с жителями США, хотя по всей известной мне статистике мои ценностные ориентиры гораздо ближе к скандинавским странам.
Я оказалась тем самым примером, на котором тест не сработал.Вывод:🟢 Тест основан на классном качественном исследовании,
🚫 которое было сильно упрощено для удобства. Насколько из-за этого снизилась точность теста, разработчики не уточняют. Поэтому я бы не стала полагаться на него всерьез.
Увы, онлайн-тесты на культурные ценности в целом ненадежны. Авторы стремятся делать их удобными и простыми для пользователей, но для этого приходится серьезно упрощать данные, которые лежат в основе культурных особенностей, и в результате тесту уже с трудом можно верить.
Чтобы реально понять, насколько ваши выборы соответствуют ответам людей из той или иной культуры, придется основательно покопаться в профильной литературе и пообщаться с большим количеством местных.
Как вы относитесь к онлайн-тестам? Расскажите в комментариях, что вы думаете по этому поводу. Какую страну тест выдал вам?@mezhkulturno