Big Data Infrastructure Engineer

Команда Big Data Platform внутри большой инфраструктурной команды RVC ищет сеньора для эксплуатации и развития Big Data инфраструктуры международного контура. Текущий пилот по переходу от нескольких крупных датасетов к тысячам мелких таблиц и файлов в Ozone S3, внедрение квот и миграция Iceberg-каталога. Работа в паре с инженером в соседнем контуре.

Обязанности

Деплоить, обновлять и эксплуатировать сервисы Big Data платформы: HDFS, Ozone S3, Iceberg и др.; Поддерживать пилот: перестраивать работу кластера под тысячи мелких таблиц и файлов; Внедрять квоты на вычисления и хранение для бизнес-юнитов: продумать, как их считать и заводить, чтобы потом не утонуть в конфигурациях; Мигрировать с дефолтного Iceberg-каталога на Lakekeeper или Gravitino; Навести порядок в мониторинге и алертинге

Требования

Опыт проектирования, внедрения и эксплуатации Big Data платформы от 5 лет; Практический опыт с HDFS / Hadoop: деплой, апгрейды, траблшутинг; Опыт самостоятельного деплоя и эксплуатации S3-хранилища. В идеале Ozone, но MinIO и аналоги тоже подойдут; Опыт работы с Apache Iceberg; Английский на уровне чтения технической документации; Возможность работать по московскому времени (разница до 3 часов)

Условия

Большая зона ответственности, задачи, в которых можно повлиять на архитектуру, и современный стек без legacy; Можно работать удалённо и по гибкому графику; Выстроенный онбординг, корпоративная школа английского, внутренние программы обучения, компенсация внешних курсов и конференций, корпоративные цены на отели и дополнительный оплачиваемый выходной MyTime Day Off

Откликнуться на вакансию свайпом в Telegram

Зарплату работодатель не указал. Ориентир по вакансиям Swipe Jobs.

Swipe Jobs — поиск работы свайпами в Telegram. Тысячи вакансий из каналов и с сайтов компаний в одной ленте, отклик в один клик прямо в чате с работодателем.