• Вакансии
• Data Engineer

опубликована: 25 декабря 2023

5.0

**Aero** — e-commerce разработчик, аккредитованная IT компания, которая делает онлайн-шопинг простым и приятным, а магазины – надежными и безопасными. **Задачи:** - Автоматизация дата-пайплайнов; - Участие в построении хранилищ данных: проектирование, определение сущностей, формирование витрин данных; - Разработка и оптимизация процессов выгрузки данных из различных источников; - Разработка процессов обработки данных; - Проводение оркестрации ETL/ELT процессов в Airflow; - Поддержка аналитической инфраструктуры. **Must-Have:** - Greenplum; - Yandex.Cloud/Google Cloud Platform; - Python, Spark; - Airflow/dbt. - K8s (на уровне понимания); - Kafka ; - CDC (change data capture); - Понимание/представление, каким образом можно создать динамический генератор дагов или dag factory; - Работа с потоковой обработкой данных (streaming/real-time) и с пакетной обработкой данных (batch); - Знание и понимание особенностей моделей данных (например, data vault). **Nice-to-have:** - ClickHouse. **Мы предлагаем:** - Удаленка или офис (Москва, Ярославль); - Оформление ТК РФ, белая ЗП, прозрачная система бонусов; - Крутые корпоративы, ДМС, английский со скидкой 50%.