Data Engineer – Senior

На этой позиции у вас будет возможность:

• Работать с современным стеком данных и AI-инструментами, создавая сложные решения

• Разрабатывать решения технических задач и влиять на архитектуру платформы

• Исследовать, разрабатывать и внедрять новые инструменты и технологии обработки данных

• Создавать критически важные для бизнеса, надёжные дата-продукты самообслуживания с использованием Apache Spark, Kafka, Delta Lake и других технологий больших данных

• Обеспечивать производительность пайплайнов и качество данных за счёт масштабируемой архитектуры и оптимизации

• Дорабатывать решения для работы с данными по мере изменения бизнес-требований и технических ограничений

• Взаимодействовать с командами, чтобы понимать потребности в данных и поддерживать внедрение дата-продуктов в компании

• 5+ лет опыта в разработке программного обеспечения с экспертизой в разработке, развёртывании и интеграции

• Уверенное владение как минимум одним высокоуровневым языком программирования (Scala, Java, Python или аналогичным)

• Опыт работы в средах данных, таких как Data Lakes, Data Warehouses, Data Marts, концепции преобразования данных (Data transformation) и работа с большими объёмами данных

• Опыт построения ETL-пайплайнов для feature engineering на крупномасштабных наборах данных с использованием Apache Spark и Delta Lake

• Опыт получения и моделирования данных из API приложений

• Опыт создания приложений потоковой обработки с использованием Spark-Streaming, Kafka Streams или других инструментов

• Опыт проектирования и внедрения решений для мониторинга, алертинга и observability пайплайнов данных с использованием Prometheus, Grafana, Alertmanager или других инструментов

• Сильные аналитические навыки и навыки решения проблем

• Английский на уровне Upper-intermediate и свободное владение русским языком

• Опыт работы с инструментами оркестрации рабочих процессов, такими как Apache Airflow

• Опыт работы с Kubernetes и контейнеризацией

• Знакомство с облачными платформами (AWS, GCP, Azure, OCI)

• Знакомство с CDC и Debezium

• Знакомство с Clickhouse

• Знакомство с фреймворками валидации качества данных для пайплайнов данных

• Знакомство с Data Lineage

• Знакомство с NoSQL-хранилищами с низкой задержкой (такими как HBase, Cassandra, MongoDB), реляционными базами данных (такими как MySQL, Postgres) и поисковыми системами (такими как ElasticSearch, Solr)

• Степень магистра, PhD или эквивалентный опыт в области программной инженерии, математики или информатики

• Частная медицинская страховка

• Спортивные бонусы

• Комплексная программа поддержки психического здоровья

• Бесплатные уроки английского языка (онлайн)

• Курсы местного языка

• Оплачиваемый отпуск

• Поддержка в период декретного отпуска

• Вознаграждения по реферальной программе

• Повышение квалификации, внутренние воркшопы, участие в профессиональных конференциях и корпоративных мероприятиях