• Вакансии
• Data Engineer

опубликована: 21 ноября 2023

5.0

**Циан** — это популярный высокотехнологичный сервис по покупке, продаже и аренде недвижимости с набором качественных сопутствующих услуг. **Стек:** Python 3.9/3.10, Spark 3, Airflow 2.5, NoSQL DB (Redis, Cassandra), Kafka, Scala (есть небольшой процент задач по Spark Streaming). **Задачи:** - Работа над платформенным решением по обработке данных для внутренних проектов; - Injection data (raw/parsed layers). Загружаем данные из kafka во внутреннее хранилище для пользователей; - Airflow интеграция. Своя библиотека для унификации работы с airflow; - Feature store. Развиваем свой для улучшения метрики ttm проектных команд (ds); - Другие активности: data catalog, functional testing tool, миграция в k8s; - Обработка данных и сбор статистики для продуктов команд; - Подготовка данных для ML; - Разработка streaming pipeline для продуктовых команд; - Поддержка решения в PROD; - Поддержка уже существующих решений. **Must-Have:** - Hadoop от 2-х лет; - HDFS (какие типы нод за что отвечают, как работает Erasure Coding); - Spark; - Python; - Kafka. **Мы предлагаем:** - Удаленку или офис (Москва, Санкт-Петербург); - ДМС с первых дней работы (стоматология, госпитализация, полис ВЗР); - Ежегодная компенсация спорта; - 5 day off в год помимо основного отпуска.