Data Engineer

Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API и нести за них ответственность; писать библиотеки и фреймворки на Python (клиенты к источникам, инструменты тестирования пайплайнов, обёртки над инфраструктурой) с чистым кодом, типизацией и тестами; работать с lakehouse на глубине — Iceberg maintenance, оптимизация layout'а таблиц, тюнинг Trino, Spark-джобы для тяжёлых трансформаций; строить интеграции с источниками (OLTP-базы, REST/gRPC API, Kafka, файловые хранилища, SaaS-системы) и проектировать унифицированные интерфейсы; внедрять AI в инженерные процессы (агенты для расследования инцидентов, ассистенты для DAG'ов и code review на базе LangGraph/MCP); участвовать в архитектурных решениях и делать code review, менторить менее опытных коллег.

Обязанности

Развивать ядро платформы: фреймворк Data Vault, обвязку Airflow, lineage-инструменты — проектировать API и нести за них ответственность; писать библиотеки и фреймворки на Python с чистым кодом, типизацией, тестами и ревью; работать с lakehouse на глубине — Iceberg maintenance, оптимизация layout'а таблиц, тюнинг Trino, Spark-джобы для тяжёлых трансформаций; строить интеграции с источниками и проектировать унифицированные интерфейсы; внедрять AI в инженерные процессы; участвовать в архитектурных решениях; делать code review и менторить менее опытных коллег.

Требования

Промышленный опыт от 5 лет в data engineering или backend-разработке с сильным дата-уклоном; Python на уровне senior разработчика (ООП, проектирование API библиотек, типизация, тесты); Lakehouse-стек на практике (Apache Iceberg: устройство таблиц, snapshots, компакция, schema evolution); Trino или другой MPP-движок (распределённое выполнение, чтение планов, оптимизация); Apache Airflow глубоко (scheduler, executors, метаданные, собственные операторы и хуки); Apache Spark (PySpark, Spark SQL); SQL продвинутого уровня (оконные функции, CTE, оптимизация, планы исполнения); Git, CI/CD. Плюс: опыт разработки внутренних платформенных инструментов; AI-native подход (Claude Code/Codex, агенты, RAG); Kubernetes (Helm, дата-сервисы); опыт с CDC (Debezium, Kafka Connect); знание форматов хранения (Parquet); системы контроля доступа к данным (OPA, row-level security).

Условия

Полная занятость; оформление: трудовой договор; график: 5/2; удалённый формат работы; уровень дохода обсуждается на этапах найма.

Откликнуться на вакансию свайпом в Telegram

Зарплату работодатель не указал. Ориентир по данным исследований.

Работа дата-инженером — все вакансии подборки

Swipe Jobs — поиск работы свайпами в Telegram. Тысячи вакансий из каналов и с сайтов компаний в одной ленте, отклик в один клик прямо в чате с работодателем.