Геннадий | QA++

Как тестируют в Microsoft?

На этой неделе я посетил MDCS Track 24 в офисе Microsoft. В программе было шесть докладов, перерыв на обед и коктейльная вечеринка. Особенно запомнился доклад о тестировании в команде Word Online. Делюсь ключевыми моментами:

1️⃣ Отсутствие роли QA/SDET
В Microsoft нет отдельных ролей QA или SDET. Все тестирование выполняют Software Engineers, которые создают продукт. Такой подход интегрирует ответственность за качество непосредственно в процесс разработки.

2️⃣ Упор на unit и e2e тесты
На проекте Word Online используют в основном юнит-тесты и end-to-end (e2e) тесты.
• Интеграционные тесты в данной команде не применяются, хотя в других проектах они возможны.
• Для UI-тестов предпочтение отдают Selenium и Playwright, так как последний ускоряет разработку благодаря, например, встроенным ожиданиям.

3️⃣ Быстрый и безопасный деплой через канареечный релиз
Для обновления Word Online используется канареечный релиз, который проходит следующие этапы:
• Dogfood;
• MSFT (альфа-тестирование внутри Microsoft);
• Постепенное расширение аудитории: 1% → 33% → 66% → 100% пользователей.

4️⃣ Мониторинг и автоматизация
Ключевая задача — поддерживать стабильность на всех этапах развертывания.
• Упор на метрики (например, производительность и ошибки).
• Настроены автоматические оповещения об аномалиях, которые помогают быстро реагировать на проблемы.

5️⃣ Релизы с feature flags 🚩
Релизы объединяют множество изменений, включая новые фичи и багфиксы. Для управления доступностью функционала используются feature flags.
Это позволяет:
• включать фичи по группам пользователей,
• тестировать функционал в ограниченном масштабе перед глобальным внедрением.

6️⃣ Работа с новыми функциями:
При внедрении нового функционала команда проводит:
• A/B тестирование,
• Сбор метрик,
• Анализ фидбека от пользователей (этот этап - самый сложный, так как требует глубокой аналитики).

7️⃣ Подходы к ошибкам
Если обнаружены критические проблемы в новой версии, возможны три сценария:
• Откат изменений,
• Приостановка развертывания,
• Продолжение внедрения — если проблема незначительно влияет на пользователей.
Выбор зависит от серьезности ошибки и важности новых функций.

8️⃣ Логи и исключения
Для расследования причин сбоев команда:
• Анализирует множество типов логов: общие, сессионные, запросы.
• При необходимости оперативно добавляет новые логи.
Интересный факт: в команде Word Online избегают выбрасывания исключений. Лучше позволить приложению "упасть", чтобы пользователь обновил приложение.

Если эта тема вам интересна, напишите в комментариях или ставьте 💻 чтобы я подготовил более детальную статью.

Пост от Across про разницу Staff и Stuff напомнил мне мою историю повышений.

В своей прошлой компании я стал первым QA сербского офиса, которого повысили до Staff QA, что привело мои мысли сразу к двум шуткам:
Во-первых, теперь я наконец-то смогу заходить в эти самые двери в аэропортах и ресторанах с вывеской "Staff only".
Во-вторых, я хотел распечатать себе надпись Staff Terier QA.

Как же я стал этим самым Staff Terier QA? В том числе с помощью презентации о себе, с помощью которой рассказывал на полугодовом Performance Review о своих достижениях.

Делюсь с вами примером этой презентации на английском языке, с помощью которой я получил повышение.

Также подписывайтесь на канал Across, где пишут про ИТ (в том числе и QA) и английский.

7 сентября для меня был особенным днем по нескольким причинам. Во-первых, это был мой день рождения, а во-вторых, это был день нашего третьего митапа Serbian QA Hub в коллаборации с Wargaming! 🎉

Мои со-организаторы и коллеги сделали мне незабываемый сюрприз — меня поздравили с днем рождения прямо перед всеми 70+ участниками митапа! С таким большим количеством людей я еще день рождения не отмечал 😅 Спасибо! ❤️

Что касается самого митапа, он прошел с большим успехом, как всегда, и надеюсь, вам тоже все понравилось. Почитать подробности можно в канале хаба.

А как вы отмечаете свой день рождения? 😀