Data Platform Engineer

Мы ищем Data Platform Engineer для модернизации, миграции и поддержки надёжной инфраструктуры платформы данных в облачных и корпоративных средах.

Обязательные требования: 3+ года опыта работы на уровне senior в production-разработке платформ данных, уверенное знание Python, Bash и SQL, экспертиза в AWS, Snowflake и Kafka/Confluent, опыт production-миграций и эксплуатации, практики безопасного доступа, навыки устранения неполадок и английский на уровне upper-intermediate. Опыт миграции устаревших данных будет плюсом.

• Помогать мигрировать инфраструктуру Glassdoor и рабочие нагрузки платформы данных с инфраструктуры GD на инфраструктуру Indeed.

• Помогать переносить инфраструктуру и рабочие нагрузки платформы данных в AWS us-east-2 (USE2), включая необходимые условия по подключению, развёртыванию и эксплуатации.

• Обеспечивать безопасный и управляемый доступ к данным Glassdoor для потребителей платформы данных Indeed и downstream-систем.

• Модернизировать архитектуру платформы данных, инструменты, оркестрацию, хранилище и операционные практики в соответствии со стандартами Indeed.

• Поддерживать миграцию и эксплуатацию Snowflake, Confluent/Kafka, AWS и инфраструктуры платформы данных в средах stage и production.

• Участвовать в устранении неполадок в production, реагировании на инциденты, подготовке документации и runbook, а также в координации миграции между командами.

• Использовать Terraform/IaC, GitLab, мониторинг и документированные процессы, чтобы вносить воспроизводимые и поддающиеся аудиту изменения.

• 3+ года практического опыта уровня senior в production-разработке платформ данных; опыт в области платформ/DevOps и сильная экспертиза в работе с данными.

• Уверенное знание Python, Bash и SQL

• Production-опыт работы как со Snowflake, так и с Confluent/Kafka, с упором на DevOps и эксплуатацию. Достаточно глубокого опыта в одном из них и рабочего знания другого: глубокое знание Snowflake и AWS при рабочем знании Kafka (топики, коннекторы, схемы), ИЛИ

• глубокое знание Kafka/Confluent и AWS при рабочем знании Snowflake.

• Опыт эксплуатации или миграции production-систем в средах разработки, stage и production.

• Уверенные навыки устранения неполадок, реагирования на инциденты, тестирования, ведения документации и коммуникации между командами.

• Опыт работы с доступом по принципу наименьших привилегий, контролем изменений, обработкой секретов и безопасными операционными практиками.

• Уверенные навыки кросс-функциональной коммуникации.

• Apache Spark и Hadoop/Hive/HQL, включая модернизацию или миграцию устаревших рабочих нагрузок

• Snowpark, альтернативы dbt, AWS Glue, Monte Carlo или другие инструменты контроля качества данных и каталогизации

• Миграция устаревших рабочих нагрузок Airflow, Hadoop или Hive на cloud-native или управляемые платформы

• Опыт работы в условиях слияния или поглощения компании и приведения систем в соответствие со стандартами новой организации

• Знакомство с паттернами миграции Snowflake-to-Iceberg или Snowflake-to-data-lake.

• Рост без ограничений: развивайте навыки с помощью менторства, внутренних TechTalks, сложных проектов и выделенного ежегодного бюджета на обучение

• Конкурентная компенсация: получайте признание, отражающее ваши навыки и вклад, с регулярным пересмотром результатов работы и компенсации

• Гибкость: работайте 100% удалённо с гибким графиком, который помогает сосредоточиться, сохранять самостоятельность и здоровый рабочий ритм

• Значимые современные проекты: создавайте востребованные продукты на современных технологиях вместе с глобальными командами и ведущими брендами

• Культура сотрудничества: присоединяйтесь к поддерживающей среде без микроменеджмента, где приветствуются идеи и ценится вклад каждого

• Благополучие и поддержка: получайте доступ к локальным программам по поддержанию благополучия и ориентированной на людей поддержке с учётом вашего местоположения