Senior Data Engineer (Kafka & Snowflake) Wroclaw, Krakow, Gdansk, Warsaw, Poland

Мы ищем Senior Data Engineer (Kafka & Snowflake) в совершенно новую команду регуляторной отчётности, которая с нуля создаётся для глобальной компании в сфере платёжных технологий. В этой роли вы будете работать вместе с небольшой группой инженеров и командой клиента: создавать надёжные потоковые пайплайны на Kafka и модели для отчётности в Snowflake, обеспечивать точность, аудируемость и сверку данных, лежащих в основе регуляторных отчётов, а также помогать определять, как работает команда и как формируется её архитектура, с первого дня.

• Потоковые пайплайны: проектирование и создание потоков данных на основе Kafka с использованием Kafka Streams и/или Kafka Connect, выбор подходящих гарантий доставки — от at-least-once до exactly-once с идемпотентными producers и транзакциями.
• Устойчивая обработка событий: реализация обработки ошибок с повторными попытками, dead-letter queues и повторной обработкой, сохранение порядка сообщений и управление эволюцией схем через Schema Registry с Avro или Protobuf.
• Данные для отчётности в Snowflake: моделирование фактов, измерений и SCD для регуляторной отчётности, а также построение загрузки и обработки данных с помощью Streams & Tasks, Snowpipe и Time Travel.
• Точность данных и сверка: реализация сверки, валидации и дедупликации, чтобы каждой отчётной цифре можно было доверять и чтобы её можно было отследить.
• Производительность и мониторинг: мониторинг и настройка consumer lag и пропускной способности, а также оптимизация запросов Snowflake через планы выполнения, clustering keys, pruning и подбор размера warehouse.
• Формирование новой команды: помощь в определении процессов и архитектуры с нуля в только что созданной команде.

• Коммерческий опыт работы дата-инженером или инженером-разработчиком в создании промышленных потоковых пайплайнов и пайплайнов данных.
• Экспертиза в Kafka: глубокое знание архитектуры Kafka (topics, partitions, consumer groups, offsets, replication), гарантий доставки, Kafka Streams и/или Kafka Connect, а также Schema Registry с Avro или Protobuf.
• Продвинутый SQL в Snowflake: сложные запросы с оконными функциями, CTE, агрегациями и соединениями больших объёмов данных, а также практический опыт оптимизации запросов.
• Платформа Snowflake: практический опыт работы со Streams & Tasks, Snowpipe и Time Travel.
• Моделирование данных для отчётности и их качество: опыт моделирования данных для отчётности (факты, измерения, SCD) и реализации сверки, валидации и дедупликации.
• Ответственность и коммуникация: самостоятельность и проактивность, комфортная работа в только что созданной команде, хороший уровень коммуникации на английском языке.

• Apache Flink: опыт работы с DataStream API или Flink SQL, stateful-обработкой, checkpointing, event time, watermarks и windowing.
• Экосистема Java: Java 11/17+, Spring Boot и Spring Kafka, тестирование с JUnit, Mockito и Testcontainers.
• Платформа и поставка: Kubernetes (deployments, Helm, масштабирование), CI/CD, Git и опыт работы с облаками.
• Регуляторная и финансовая отчётность: опыт работы с отчётностью в банковской сфере или сфере платежей и хорошее понимание требований к аудируемости, lineage и точности данных.

• Возможность работать над передовыми проектами

• Работа в высокомотивированной и преданной своему делу команде

• Конкурентная зарплата

• Гибкий график

• Пакет льгот — медицинская страховка, спорт

• Корпоративные социальные мероприятия

• Возможности профессионального развития

• Хорошо оборудованный офис

Grid Dynamics — работодатель, предоставляющий равные возможности. Мы стремимся создавать инклюзивную среду для всех сотрудников в период работы и для всех кандидатов в процессе подачи заявки.

Все квалифицированные кандидаты будут рассмотрены на вакансию независимо от возраста, расы, пола, цвета кожи, религии, национального происхождения, сексуальной ориентации, гендерной идентичности, статуса ветерана, инвалидности или любой другой защищённой категории и не будут подвергаться дискриминации по этим признакам. Решения о трудоустройстве принимаются на основе квалификации, заслуг и бизнес-потребностей.