Data Engineer - JustMarkets Tech

Обязанности

• Коммуницировать как с технической, так и с нетехнической аудиторией для сбора требований

• Проверять и анализировать данные и логику для обеспечения согласованности и точности

• Проектировать, реализовывать и поддерживать конвейеры данных для эффективного потока данных

• Интегрировать и поддерживать разработанные решения

• Исследовать и оценивать сторонние компоненты для возможного использования

• Следовать лучшим инженерным практикам: рефакторинг, code review, тестирование, continuous delivery и Scrum

• Проектировать, оптимизировать и поддерживать хранилище данных

Требования

• 3+ лет коммерческого опыта в Data Engineering

• Опыт сбора бизнес‑требований и коммуникации со стейкхолдерами

• Глубокие знания архитектуры и принципов Data Warehouse (DWH)

• Практический опыт проектирования хранилищ данных и построения ETL‑конвейеров

• Глубокий практический опыт работы с Python

• Практический опыт в одной или нескольких из следующих областей: обработка данных с использованием PySpark, Apache Spark, Pandas или аналогичных фреймворков; скрапинг данных; интеграция сторонних источников данных и API. Владение SQL и реляционными базами данных, такими как PostgreSQL и MySQL

• Практический опыт работы с колонко-ориентированными базами данных, такими как ClickHouse, Snowflake, Cassandra, BigQuery (много таблиц с миллионами записей и более в каждой)

• Твердое понимание шаблонов проектирования программного обеспечения, алгоритмов и структур данных. Средний уровень владения английским языком

Будет плюсом

• Опыт работы с платформами обмена сообщениями, такими как RabbitMQ или Kafka

• Знакомство с практиками DataOps и автоматизацией конвейеров данных

• Знакомство с CI/CD конвейерами и средами Kubernetes

• Опыт работы в FinTech или торговых доменах

Мы предлагаем

• Компенсация налоговых расходов для частных предпринимателей в Украине

• Экспертная поддержка и консультации для украинских частных предпринимателей

• 20 оплачиваемых дней отпуска в год

• 10 оплачиваемых дней больничного в год

• Публичные праздники согласно утверждённому компанией списку публичных праздников

• Медицинская страховка

• Возможность удалённой работы

• Бюджет на профессиональное образование

• Бюджет на изучение языков

• Бюджет на оздоровление (абонемент в спортзал, спортивное снаряжение и сопутствующие расходы)