Статистика и R в науке и аналитике

Человек наук – это канал о красоте окружающего мира глазами учёного. Ведет его Вова, крутой биоинформатик, сейчас делает PhD в Мюнхене, связанное с машинным обучением и single-cell.

Здесь вы узнаете:

🍣 Математика программ лояльности: как надолго привязать голодных студентов к доставке роллов, чтобы они ещё и остались довольны

👾 Смешные и страшные истории из мира науки, а также шокирующая обыденность жизни учёных

📊 Как стоит и не стоит визуализировать данные

✉️ А также авторское исследование о том, как лучше писать письма для стажировок или PhD и
советы со стороны собеседующих, будет актуально для науки и не только.

Подписывайтесь!

Бесплатный курс по визуализации данных

karpov.courses выложили в открытый доступ курс по визуализации данных в Tableau (читается как "табло") от Ромы Бунина. Курс будет полезен не только BI-аналитикам, которые работают с Tableau, но и всем, кто сталкивается с визуализацией данных в своей работе.

Я посмотрела большую часть курса, мне очень понравилось, что разбираются принципы качественного датавиза (правила Тафти) и особенности конкретных графиков, например, можно ли отрывать ось в барплоте от нуля, нужно ли подписывать все точки на линейном графике, и когда стоит использовать пайчарты.
Детали и фишки Tableau тоже рассматриваются, но ничего страшного, если вы не работали с этой BI-системой, можно поставить бесплатную версию или просто пропускать части, которые относятся непосредственно к ней (хотя я смотрела целиком, несмотря на то что сейчас не работаю в Tableau).

Курс рекомендую к прохождению ученым, аналитикам данных и всем, кому нужно делать хорошую визуализацию данных 📈

#recommendation

Долгожданный разбор теста Велча и сравнение с тестом Стьюдента

Опубликовала сравнение двух тестов в самых разных случаях. Получилось мало формул, много симуляций, неожиданный плоттвист в конце 🤔

Читаем по ссылке, пишите комментарии здесь или на сайте с авторизацией через гитхаб (недавно добавила эту фичу).

#stats #stat_hard

Статистика и R

P.S. Знаю, что есть запрос на лонгриды по статистике, но на их разбор и написание уходит очень много времени, поддержите репостами и реакциями!

Исследование рынка аналитиков 📊

NEWHR проводит очередное исследование рынка аналитики, и меня пригласили распространить опрос как эксперта. Это очень круто, что подобные исследования проводятся, так как повышают прозрачность рынка, дают большее понимание и сравнение разных компаний в плане зарплат, задач, повышений и тп. Также здорово, что организаторы стремятся сделать наиболее репрезентативную выборку, и распространяют опрос по разным источникам.

С результатами исследования за 2023 год можно ознакомиться здесь. Кстати, его можно считать примером очень хорошей визуализации данных, рекомендую ознакомиться (даже если вы не аналитик), любопытно про топ и антитоп компаний для трудоустройства.

Если вы дата-, продуктовый, веб-, маркетинговый, BI-аналитик, обязательно найдите время (у меня прохождение опроса заняло минут 10-15) на опрос, это будет очень ценно для всего сообщества.

Результаты исследования планируют выложить в начале 2025 года, однако с участниками обещают поделиться промежуточными результатами, и рекомендованными каналами экспертов в аналитике.

#recommendation

P.S. Немного грустно, что последнее исследование рынка зарплат в биотехе проводилось Бластимом аж в 2021 году.
В комментариях дополнили, что обзор проводился в 22-23 году, а чтобы ознакомиться с результатами, нужно вступить в закрытый чат

🔥Список очень крутых каналов по статистике и доказательной медицине

💜 BioStat <- R | Чат по статистике и R
Чат создан преподавателями и выпускниками Института биоинформатики (Санкт-Петербург). Основная направленность обсуждений - современные методы биостатистики и их реализация в среде программирования R.

💜 Data Medicine
Канал врача и исследователя Артемия Охотина о биостатистике, эпидемиологии и политике в медицине. «Listen to your data, it is telling you the diagnosis»(с) В канале разбираются хорошие и плохие исследования, откровенно обсуждаются вопросы интерпретации их результатов.

💜 Ebm_base
Канал, где описываются основы и нюансы доказательной медицины, статистики и эпидемиологии. Автор (к слову, хирург) старается сам разобраться в сложных вещах и рассказать о них. Иногда (несмешные) шутки над чем угодно. Осторожно, токсичный контент!

💜 «Lobastov’s Scientific Library»
Личный канал (с перчинкой) доктора медицинских наук, врача-флеболога Кирилла Викторовича Лобастова с свежими исследованиями, интересными клиническими случаями, критическим разбором статей и ссылками на полезные ресурсы из мира научной флебологии и не только.

💜 Канал medstatistic
Блог, где понятным языком рассказывается о статистическом анализе медицинских данных. Ведет блог доцент Казанской государственной медицинской академии и один из создателей программы StatTech Дамир Марапов.

💜 medstatistic ЧАТ
Один из старейших чатов для обсуждения вопросов статистического анализа медицинских данных. Здесь можно задать любой вопрос о своём исследовании и получить компетентный ответ от экспертов.

💜 Канал "НЕЗАВИСИМОЙ НАЦИОНАЛЬНОЙ АКАДЕМИИ ДОКАЗАТЕЛЬНОЙ МЕДИЦИНЫ"
На этой платформе вы найдете материалы в области доказательной медицины и критической оценки научных публикаций. Если захотите высказаться, то есть чат ННАДМ.

💜 Сообщество "ОСНОВАНИЕ"
Сообщество врачей Казани, разделяющих принципы доказательной медицины. В канале публикуются рекомендации, основанные на клинических исследованиях, мнение экспертов, материалы о принципах чтения научных статей.

💜 Статистика и R в науке и аналитике
Автор канала биоинформатик Елена Убогоева пишет о простых и сложных вещах в статистике, рассказывает про особенности языка программирования R, а также выкладывает материалы о продуктовой аналитике и смежных темах

Подборка подготовлена ННАДМ и Мараповым Дамиром.

P.S. Очень приятно попасть в подборку, спасибо Дамиру за высокую оценку

#recommendation

Сегодня пост про расчет размера выборки вызвал нешуточную дискуссию в чате канала.
Обсудили, можно ли найти значимые различия на трех мышах, применим ли подход расчета размера выборки в биологии или является карго-культом, и еще я узнала про тесты эквивалентности, спасибо Артему Черемухину за комментарий

Присоединяйтесь и вы!

О размере эффекта и расчете объема выборки в научных задачах

Я в последнее время активно читаю теорию A/B-тестирования. По сути это классические эксперименты с контрольной и тестовой группами (case/control), с которыми постоянно сталкиваются ученые, но с учетом особенностей бизнеса.

📊 Важным этапом при проведении A/B-тестирования является расчет MDE (minimum detectable effect), минимально обнаруживаемый эффект. Например, в эксперименте мы хотим зафиксировать увеличение конверсии на 2% и мы можем рассчитать необходимый размер выборки для тестовой и контрольной группы, исходя из этого. Для этого нам нужно знать минимально обнаруживаемый размер эффекта (определили выше), дисперсию в контрольной и тестовой группе, а также уровень ошибки первого рода (стандартно 0.05) и желаемую мощность теста (обычно 80%).

На всякий случай напомню: мощность - это вероятность найти статистически значимые различия там, где они действительно есть (то есть единица минус вероятность ошибки II рода, про ошибки мнемоническое правило в прикрепленной картинке)

Меня заинтриговал этот подход, потому что он отталкивается от практических соображений.
🌱Интересно было бы применить такой концепт в биологических исследованиях. Например, сначала определить, какой эффект был бы биологически значимым, и после этого рассчитывать необходимый размер выборки. К примеру, мы изучаем влияние фитогормона на рост корня и знаем по предыдущим экспериментам длину корня растений определенного возраста (также можем рассчитать дисперсию). Можно зафиксировать, что для нас биологически важным будет изменение длины корня на 10%. После этого по формуле MDE, мы можем рассчитать необходимый размер выборки, чтобы зафиксировать такой эффект.
🐀 Хорошо, если полученный размер выборки окажется допустимым для исследования, так как при работе с мышами или другими животными, есть риск, что необходимый статистически размер выборки не одобрит биоэтический комитет.
Но тут есть такая особенность, что чем больше эффект, тем меньше нужна выборка, чтобы его обнаружить. Можно для себя решить, что совсем небольшие изменения не несут особой биологической ценности и рассчитывать выборку для бОльших эффектов.

Как вы думаете, возможен ли такой подход в научных исследованиях?

#product #analytics

С днем рождения меня 🎈

И почти с днем рождения телеграм-канал, он был основан 26 августа 2021-го года 🎉
Очень приятно, что мой канал с заметками по статистике так расширился, и здесь собрались настолько разные подписчики: биологи, психологи, социологи, аналитики данных, даже есть представители астрофизики! (в комментариях к опросу можно заценить, а также написать свою область 😎)

Лучшим поздравлением для меня будет поделиться ссылкой с друзьями и коллегами, а также написать в комментариях, что интереснее всего читать, в чем для вас канал представляет ценность.

Спасибо всем, что читаете, комментируете, ставите реакции, это мотивирует развиваться и писать еще!

О пуш-уведомлениях, определении целевых пользователей и выгоде годовой подписки

Я пользуюсь разными приложениями для аренды самокатов 🛴 и в одном из них даже оплатила годовую подписку на бесплатный старт. Подписка продавалась по скидке, и я посчитала, что примерно за 10 поездок смогу отбить ее стоимость. Однако мне все еще поступают пуш-уведомления с предложением купить подписку на один или три месяца. Это слегка раздражает и говорит о том, что в компании видимо не проводят сегментацию пользователей и просто раскатывают пуши на всех, вне зависимости, есть ли у них уже подписка или нет.

Для начинающего продуктового аналитика очень полезно пытаться рассмотреть все, что используешь в повседневной жизни, с точки зрения продукта. Я попробовала накидать идей, как можно было бы улучшить взаимодействие с пользователем посредством пушей, и в целом подумать о метриках и механиках монетизации продукта.

Например, в другом приложении был полезным пуш, о том что я давно не каталась на самокатах, со скидкой 20% на следующую поездку. Мне как раз тогда нужно было поехать на самокате, и пуш, и скидка были очень вовремя, я воспользовалась предложением и повысила их метрику конверсий пушей в поездки 😎. Для первого упомянутого приложения тоже намного более полезным было бы напомнить о наличии подписки, о бесплатном старте, чтобы я как пользователь чаще каталась.
Тут правда возникла мысль, что возможно из-за бесплатного старта самокаты начинают работать в убыток 🤔, и им выгоднее, чтобы люди купили подписку и как можно реже пользовались. Но все равно мне кажется продукту нужно увеличивать метрики DAU, WAU, MAU (это аббревиатуры daily, weekly, monthly active users), плюс удержание пользователей (retention), и вряд ли наличие подписки это как-то отменяет. Я понимаю, что метрики активности пользователей не являются самоцелью, а конечная цель продукта состоит в получении прибыли, но поскольку поездки при наличии подписки не становятся бесплатными, значит, юзер будет продолжать приносить прибыль, пользуясь самокатами и при наличии подписки. Так что я не думаю, что при бесплатном старте самокаты становятся убыточными, такая бизнес-схема была бы странной.

А что думаете вы по этому поводу? Выгодно ли при наличии подписки напоминать пользователю о себе, или оптимально, если человек купил и забыл про нее и не использовал приложение?

#product #analytics

@stats_for_science

Всем привет!

Написала обещанный большой пост о моем переходе из биоинформатики в аналитику данных. Подробно расписала мотивацию и выбор области, а также курсы и рекомендации.

Пишите комментарии, вопросы, на все постараюсь ответить!

#analytics

Задачка по дизайну A/B тестов

Пару недель назад участвовала в контесте от Samokat.tech по продуктовой аналитике. Вчера объявили результаты, оказалось, я попала в топ-10 лучших решений и выиграла оффлайн-билет на конференцию Aha'24 в Москве 🎉🎉🎉 (в прикрепленном фото результаты отсортированы по алфавиту, точных баллов не говорили, а имена остальных участников скрыты из соображений приватности).

Суть задачи была в том, чтобы
1) предложить продуктовые решения по борьбе с мошенниками-продавцами на маркетплейсе;
2) сделать дизайн A/B теста, который будет сравнивать новую ML-модель детекции мошенников с ручным определением. Соответственно, нужно было определить, какой статистический тест использовать, рассчитать MDE и мощность, сплит на группы и разобраться с данными, которые предоставили для решения.

Было очень интересно решать реальную задачу e-commerce, где понятно, что за продукт и почему это важно, так что спасибо команде организаторов конференции и аналитиков самоката за возможность проверить свои силы на реальной задаче.

С моим решением можно ознакомиться по ссылке, пишите вопросы и комментарии, если возникли.

#product

@stats_for_science

Пятничный мем

— Привет.
— Привет.
— Как там ваши дела с Кристиной? Еще не поженились?
— Нет, мы расстались.
— А что случилось?
— Мне надоело, у нее были слишком большие запросы.
— Например какие?
— Ну например update instance inner join (select groupid as group_id, (select messageid from message inner join thread on threadid = message.thread_id where location_id = location_id and language_id = language_id and concat(group_key, '.') like concat(group.key, '.%') order by message.created desc limit 1) as last_message_id, (select count(*) from thread where location_id = location_id and language_id = language_id and concat(group_key, '.') like concat(group.key, '.%')) as thread_count, (select if(sum(thread.message_count) is null, 0, sum(thread.message_count)) from thread where location_id = location_id and language_id = language_id and concat(group_key, '.') like concat(group.key, '.%')) as message_count from group where group_key like concat(key, '.%')) as statistics on statistics.group_id = instance.group_id set instance.message_id = statistics.last_message_id, instance.thread_count = statistics.thread_count, instance.message_count = statistics.message_count where instance.location_id = location_id and instance.language_id = language_id;

Статистика и R

#SQL #stat_fun