WorkListВойтиОформить подписку
Все вакансии
IS

Senior Data Engineer (AWS and Spark)

Improveit Solutions · Разработка ПО
Откликнуться на сайте компании ↗

О вакансии

Откуда можно работать
Удалённо · Польша
Занятость
Full-time
из текста вакансии
Английский
B1+
из текста вакансии
Уровень
Senior
указан работодателем
Деньги
≈ $2,9–4,5 тыс/мес · оценка Worklist
по рынку страны, данные за август 2026 · Как считаем
Даты
Опубликована 24.09 · видим у компании с 26.09 · проверена 02.11
дата публикации от работодателя
Почему в каталоге:Нанимает без привязки к странеПодробнее о компании →Найм без привязки к стране подтверждён. Есть ли в команде выходцы из Восточной Европы, Кавказа и Центральной Азии, мы не знаем.

Описание переведено машинно с английского.

Суть роли

Присоединяйтесь к ImproveIT Solutions в качестве Senior Data Engineer, работающего с AWS, Spark и потоковыми данными в международных проектах. Удалённо.

Что предстоит делать

  • Разрабатывать, создавать и поддерживать масштабируемые конвейеры данных и процессы ETL/ELT
  • Работать с крупномасштабными наборами данных и распределёнными системами обработки данных
  • Создавать и оптимизировать рабочие процессы обработки данных с использованием Spark / PySpark
  • Разрабатывать и поддерживать решения по загрузке и потоковой обработке данных с использованием Kafka, Kinesis или аналогичных технологий
  • Работать с сервисами данных AWS и облачной инфраструктурой данных
  • Анализировать и оптимизировать конвейеры данных с точки зрения производительности, масштабируемости и надёжности
  • Брать на себя ответственность за технические задачи от анализа требований до реализации
  • Сотрудничать с инженерами, аналитиками и другими заинтересованными сторонами в международных проектах
  • Вносить вклад в технические решения и улучшения архитектуры данных
  • Работать над различными международными проектами в зависимости от вашего опыта и экспертизы

Требования

  • 5+ лет коммерческого опыта в Data Engineering
  • Глубокий практический опыт работы с AWS
  • Сильный опыт работы с Apache Spark / PySpark
  • Опыт создания и поддержки конвейеров данных и процессов ETL/ELT
  • Практический опыт работы с AWS S3
  • Опыт работы с Kafka, Kinesis или аналогичными технологиями потоковой обработки
  • Отличные навыки SQL и опыт работы с PostgreSQL, MySQL, Redshift или аналогичными базами данных
  • Опыт работы с DynamoDB или другими NoSQL базами данных
  • Опыт работы с контейнеризованными приложениями, желательно AWS ECS / Fargate
  • Глубокое понимание распределённой обработки данных и масштабируемых архитектур данных
  • Хорошие навыки коммуникации на английском языке
  • Сильные навыки решения проблем и аналитические способности
  • Способность работать самостоятельно и брать на себя ответственность за технические задачи
  • Хорошие навыки коммуникации и сотрудничества

Будет плюсом

  • AWS Glue
  • Amazon EMR
  • AWS Batch
  • AWS Step Functions
  • Apache Flink
  • Apache Beam
  • Cassandra / ScyllaDB
  • Опыт работы с обработкой данных в реальном времени
  • Опыт работы с облачными платформами данных

Навыки

AWSApache SparkPySparkKafkaKinesisAWS GlueAmazon EMRAWS BatchAWS Step FunctionsApache FlinkApache BeamCassandraScyllaDBPostgreSQLMySQLRedshiftDynamoDBNoSQLAWS ECSFargate

Подходите ли вы под эту вакансию

Сверка вакансии с резюме доступна тем, кто вошел. Войти