К нам пришёл пользователь с DSL-конфигом, желающий выполнить задачу на удалённом кластере Hadoop. Из конфига мы сформировали spark-submit команду, которая отправляет наш mlp-entrypoint скрипт в кластер Hadoop в подготовленном zip-архиве. Сам скрипт мы положили рядом с conda pack архивами пользователей. ⚠️ Но что-то пошло не так. Привет, это Денис Ваньков, руководитель группы «ML платформа». На поддержке у моей команды есть два продукта. ✅ Python-пакет, который избавляет DS-разработчиков от ручного формирования spark-submit команды и даёт полезные инструменты внутри Spark-приложения. ✅ Веб-интерфейс, который изолирует от пользователя настройки и интеграции с кластером Hadoop, берёт на себя ответственность за отправку задач в кластер и предоставляет UI для мониторинга состояния задачи. Давайте представим ситуацию: наш Python-сервис едет на Python 3.8 и к нам приходит пользователь с conda pack и зависимостями, собранными под Python 3.10 и обратно несовместимыми с нашим Python-пакетом. Как мы пофиксили эту проблему, смотрите в карточках ⬆️ #ozontech_experts #python