Data Engineer
Компания ищет Senior Data Engineer для удалённой работы в РФ на полную занятость. Требуется опыт от 4 лет, знание Postgres, MSSQL, Trino, StarRocks, Cassandra, Redis, Apache Airflow, Kafka, Flink, Apache Iceberg, S3, CDC, Python, Jira, Confluence. Обязанности включают проектирование архитектуры данных, разработка ETL/ELT пайплайнов, стриминг и батч-обработка, оптимизация производительности, обеспечение качества данных, интеграции и работа с Jira.
Обязанности
Проектирование архитектуры данных: разработка и описание целевой архитектуры хранилищ (OLAP/OLTP), определение моделей данных, выбор форматов хранения и стратегий партиционирования.; Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов, построение DAG в Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей.; Стриминг и батч-обработка: разработка стриминговых джоб на Flink и батч-процессинга на Spark.; Оптимизация производительности: поиск и устранение узких мест, оптимизация медленных SQL-запросов (execution plans, индексы, партиционирование), тюнинг конфигурации движков (Flink, Spark) и БД для минимизации потребления ресурсов (CPU, RAM, I/O).; Обеспечение качества данных: тестирование трансформаций, проверка целостности и актуальности, нормализация и дедупликация.; Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB.; Работа с Jira: ведение задач, управление статусами и связями.
Требования
Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.; DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).; Data Flow Tools: практический опыт с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).; Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.; CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.; Глубокие знания архитектуры данных и БД: нормализация и денормализация, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).; Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью; опыт написания DAG в Airflow, включая кастомные операторы, hooks, sensors.; Навыки оптимизации: профилирование процессов, поиск bottlenecks, оптимизация SQL-запросов, настройка ресурсов кластеров под нагрузку.; Владение Jira и Confluence на уровне confident user.; Опыт организации хранения и обработки данных для OLAP / OLTP с учётом consistency / integrity, применение паттернов (batch processing, CDC).; Понимание особенностей и сценариев применения паттернов интеграционных потоков (batch processing, CDC) с учётом 3V+.; Опыт заведения и сопровождения заявок в сервис-деске.; Умение структурировать информацию, работать с требованиями, документировать технические решения.; Русский — свободно, английский — чтение и написание технической документации.
Условия
Рейт до 1900 руб/час (с учётом НДС при 5% или 7%), грейд Senior, локация РФ, срок привлечения 6 месяцев, формат работы удалённый, занятость полная, отсрочка платежа 45 календарных дней.
Откликнуться на вакансию свайпом в Telegram
Работа дата-инженером — все вакансии подборки
Swipe Jobs — поиск работы свайпами в Telegram. Тысячи вакансий из каналов и с сайтов компаний в одной ленте, отклик в один клик прямо в чате с работодателем.