#удаленка #РФ #remote #вакансия #vacancy #полнаязанятость #middle+ #senior #ETL #developer #разработчик #dataengineer Senior ETL-разработчик (Greenplum) на Fintech проект🙂 Компания: Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд. Основные клиенты-крупная промышленность и Fintech. Проект: Российский Fintech проект (non banking). Миграция c S3на Greenplum Вилка зп: От 350.000 до 450.000 руб на руки. Локация: Удаленка из РФ Занятость: Полная 5/2 (гибкое начало рабочего дня по часовому поясу Мск) Условия: Оформление по ТК РФ (Аккредитованная ИТ-компания) Вам предстоит: -Совместная работа с DBA-архитектором на проектах; -Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum; -Разработка трансформации данных ODS-слоя в DDS-слой; -Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff); -Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL); -Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum; -Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala); -Работа с AirFlow-операторами, разработка DAGs; Мы ожидаем что у Вас есть опыт: -Опыт ETL-разработчиком от 4 лет; -Опыт с технологическим стеком: Greenplum -Понимание различий PostgreSQL & Greenplum; -Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions); -Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews); -Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных; -Понимает различий между логическими моделями: звезды, снежинки и DataVault; Мы предлагаем: -Удалённую работу из РФ; -Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти; -ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы; -Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок; -Гибкое время начала рабочего дня. Жду резюме в личные сообщения 🙂: @kriskrisych (Кристина)