Data Engineer #удаленка #офис #гибрид #500k Требуемый опыт работы: 3–6 лет Компания:Rubbles ЗП: до 500 000 ₽ Мы ищем data engineer'ов разного уровня для усиления нашего направления, которое занимается разработкой систем прогнозирования спроса на товары, ценообразования, автоматического подбора оптимальных промо-акций и др. 🔹Пример задач: -Помощь коллегам DS в оптимизации их работающих пайплайнов. Проактивность с предложениями оптимизации; -Взаимодействие с коллегами DevOps по настройке окружений, деплоя кода, работы с инфраструктурой компании; -Перенос кода расчетов из PostgreSQL на Spark и его последующие оптимизации; -Настройка и поддержка стэндов с которых запускаются задания; -Общение с коллегами DQ, выяснение деталей наполнения данных, участие в составлении БТ к данным; -Написание ETL пайплайнов; -Решение неожиданных проблем с данными, задержками их доставки; -Настройка мониторинга разнообразных процессов; 🔹Ждем от кандитата: -Уверенные знания Python 3.7 + Spark 2.4 / Spark 3.0 (структуры данных, алгоритмы, концепции языка); -Уверенные знания SQL: агрегации, джойны, вложенные запросы, индексы, оптимизации запросов; -Глубокие теоретические знания стека технологий и практический опыт (Spark, Hadoop, Hive); Linux; -Опыт проектирования схем данных в БД, понимание концепций OLAP и OLTP; -Опыт оптимизаций sql-запросов и понимание оптимизаций на уровне spark catalyst; -Опыт работы с MPP базами данных; -Опыт работы с Airflow; -Опыт работы с Postgres и Clickhouse; -Знание и практический опыт использования Pandas и NumPy для продвинутой аналитики. 🔹На что ещё смотрим: -Опыт работы с Kubernetes (K8S); -Опыт Devops (Docker, Gitlab-CI, настройка окружения на серверах и др.); -Опыт проектирования высоконагруженных приложений и/или приложений работы с большими данными. 🔹У нас: -Работа в одной из самых сильных ML-команд в России. Сильный коллектив DE/DS/DA и других специалистов. Есть возможность постоянно учиться и перенимать опыт; -Реальная Big Data с терабайтами данных и современным стеком технологий; -Гибкий график работы; -Гибкий формат работы: полная удаленка/гибрид/офис в Мск. -Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского; -Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами; -ДМС со стоматологией после испытательного срока (3 месяца) по всей России; 🔹Особенно актуальное: -Мы аккредитованная ИТ-компания со всеми вытекающими льготами. Контакты: hr@rubbles.ru ⬇️ Другие каналы IT-вакансий: @best_itjob @it_rab