Senior Data Engineer

Вакансия Senior Data Engineer на удалённую позицию (Великобритания / Нидерланды). Работа включает проектирование архитектуры Lakehouse/DWH в Microsoft Fabric по модели Medallion, разработку ETL/ELT-пайплайнов на PySpark и Azure Data Factory, обработку больших данных, проектирование Data Marts в Synapse и настройку CI/CD.

Обязанности

Архитектура Lakehouse / DWH: Проектирование и построение end-to-end архитектуры хранилища данных с нуля в среде Microsoft Fabric. Реализация многоуровневой архитектуры хранения данных по модели Medallion — Bronze, Silver, Gold — на основе Delta Lake (Parquet); Разработка ETL/ELT-пайплайнов: Создание и поддержка надёжных и отказоустойчивых pipelines для интеграции данных с использованием Azure Data Factory и Dataflow Gen2. Настройка подключений к внешним облачным источникам AWS S3 / GCP через Fabric Shortcuts; Обработка больших данных: Разработка и оптимизация высокопроизводительного распределённого кода на PySpark для очистки данных, сложных трансформаций и агрегации больших объёмов информации; Проектирование Data Marts и работа с T-SQL: Проектирование реляционных моделей данных и аналитических представлений в Synapse Data Warehouse. Оптимизация сложных T-SQL-запросов для достижения минимальной задержки; Автоматизация и CI/CD: Настройка процессов Continuous Integration и Continuous Deployment с использованием Azure DevOps / GitHub Actions для автоматизации развёртывания инфраструктуры DWH, схем и кода.

Требования

Data Platform: Microsoft Fabric (OneLake, Data Factory, Synapse Data Engineering / Data Warehouse); Data Engineering: Apache Spark / PySpark, Azure Data Factory, Dataflow Gen2, ETL/ELT; Programming: Python, SQL / T-SQL; Architecture & Storage: Lakehouse / DWH, Medallion Architecture (Bronze / Silver / Gold), Delta Lake / Parquet; Cloud: Microsoft Azure, AWS S3 / GCP, Fabric Shortcuts; DevOps: Git, Azure DevOps / GitHub Actions, Docker, CI/CD; Data Analytics: Data Marts, relational data modeling, Power BI - буде преимуществом; Английский: В2+

Откликнуться на вакансию свайпом в Telegram

Работа дата-инженером — все вакансии подборки

Swipe Jobs — поиск работы свайпами в Telegram. Тысячи вакансий из каналов и с сайтов компаний в одной ленте, отклик в один клик прямо в чате с работодателем.