Тут же немного хочется рассказать про сам курс. Все курсы в Harbour.Space длятся 3 недели и проходят по будням - всего получается 15 дней по 3-4 часа каждый день. Мне очень нравится такой формат для сложных технических курсов, потому что он позволяет очень сфокусированно погрузиться в материал и приобрести нужные харды. Конечно, впихнуть ML System Design в три недели - сложная задача (особенно когда проводишь такой курс в первый раз :D). Для первой итерации мы решили следовать логике, отраженной на картинке выше. Мы решили сделать первую неделю лекционной, рассказать про ml system design, design doc, design canvas (на скриншоте) и попрактиковаться. Для этого мы взяли проект на основе NY Taxi dataset и сымитировали работу над задачей прогноза ETA в сервисе такси - от анализа проблемы (что-то у нас не очень точный прогноз ETA) до архитектуры решения (переобучаем в префекте, задеплоим на флай, будем мониторить evidently, и так далее). Второй частью была практика над своими собственными проектами, которые придумали сами студенты (онлайн dnd-игра, детектирование рака на 3d сканах легких, обучающее приложение для языка жестов). Такие курсы не слишком полезны, если ограничиваться теорией, поэтому на второй неделе мы занялись имплементацией решения для предсказания ETA - здесь спасибо @xserart, который поднял нам БД, куда закидывал данные, а потом настроил http запросы в сервисы участников и даже залогировал мл-метрики их прогнозов. Получился такой тестовый стенд, в который можно воткнуть ml pipeline и проверить, как он работает. Наконец, на третьей неделе, после того, как ребята доделали свой пайплайн и задеплоили сервис, мы начали его «ломать», отправляя неправильные запросы (изменилась схема данных) и битые данные (поехало распределенеи важной фичи). На занятии в режиме реального времени мы искали эти ошибки и фиксили их. Получился вот такой небольшой лидерборд: