Senior Data engineer Wroclaw, Krakow, Gdansk, Warsaw, Poland

Senior Data Engineer Wroclaw, Krakow, Gdansk, Warsaw, Poland Мы ищем Senior Data Engineer, который присоединится к высокоэффективной инженерной инициативе, направленной на модернизацию и унификацию глобальной экосистемы данных для ведущего мирового поставщика решений по приёму цифровых платежей. В этой роли вы будете играть ключевую техническую роль в выделенной команде Grid Dynamics, сосредотачиваясь на проектировании и поставке платформы данных нового поколения с использованием Databricks on AWS, Medallion Architecture и ClickHouse для аналитики с низкой задержкой.

• Проектировать и создавать производственные конвейеры данных и компоненты платформы данных с использованием Databricks on AWS, PySpark, Python и SQL.
• Реализовывать масштабируемые модели данных на основе фреймворка Medallion Architecture (слои Bronze, Silver и Gold).
• Архитектурно проектировать и оптимизировать пути данных для аналитики в реальном времени с низкой задержкой, используя ClickHouse.
• Повышать качество инженерии на всех этапах доставки, создавая автоматизированные фреймворки тестирования юнитов, интеграций и качества данных без привлечения отдельного QA‑ресурса.
• Непосредственно взаимодействовать с заинтересованными сторонами клиента и руководством команды для уточнения элементов бэклога, требований и проведения технических обсуждений.
• Проводить обзоры дизайна и кода для обеспечения надёжности, поддерживаемости системы и соблюдения архитектурных стандартов.
• Оказывать практическую поддержку и обслуживание наследственной платформы отчётности Hadoop/Kafka (около 10 % нагрузки), одновременно поддерживая стратегический переход на новую платформу.

• 5+ лет коммерческого опыта в области инженерии данных, построения, масштабирования и поддержки корпоративных платформ данных.
• Сильный практический опыт работы с Databricks, Spark / PySpark, Python и продвинутым SQL.
• Доказанный опыт проектирования моделей данных и архитектур с использованием паттерна Medallion Architecture.
• Практический опыт реализации решений аналитики с высоким объёмом и низкой задержкой на ClickHouse.
• Твёрдая инженерная база в автоматизированных методологиях тестирования (юнит, интеграция и проверка качества данных) в конвейерах данных.
• Демонстрированная способность переводить сложные бизнес‑требования в технические дизайны и чёткие требования к бэклогу.

• Практический опыт работы в экосистеме облака AWS.
• Знакомство с архитектурами потоковой обработки в реальном времени и фреймворками, такими как Apache Kafka.
• Знание домена обработки платежей, финансовых услуг или систем отчётности для торговцев.
• Концептуальное или практическое знакомство с MLOps‑фреймворками или интеграцией AI/ML‑рабочих процессов в платформы Databricks.

• Возможность работать над передовыми проектами

• Работа в высокомотивированной и преданной команде

• Конкурентоспособная зарплата

• Гибкий график

• Пакет льгот — медицинская страховка, спорт

• Корпоративные социальные мероприятия

• Возможности профессионального развития

• Хорошо оборудованный офис

Grid Dynamics — работодатель, предоставляющий равные возможности. Мы привержены созданию инклюзивной среды для всех сотрудников в течение их работы и для всех кандидатов в процессе подачи заявок. Все квалифицированные соискатели получат рассмотрение их заявки без учёта и без дискриминации по возрасту, расе, полу, цвету кожи, религии, национальному происхождению, сексуальной ориентации, гендерной идентичности, статусу ветерана, инвалидности или любой другой защищённой категории.