Senior Big Data Engineer Kyiv, Ukraine

Мы ищем Senior Data Engineer для нового проекта, направленного на создание масштабируемой платформы агрегации данных и соблюдения нормативов. Вы будете работать со сложными конвейерами ingest‑а, Kafka, графовыми базами данных, PostgreSQL и миграцией исторических данных за 7–10 лет, с сильным акцентом на качество и надёжность данных. Это отличная возможность присоединиться к проекту на ранней стадии и реально повлиять на архитектуру данных и подход к интеграции.

• Разрабатывать и поддерживать рабочие процессы ingest‑а и трансформации данных для всех охваченных исходных систем.
• Определять и документировать сопоставления схем на уровне полей между атрибутами материалов PDM Teamcenter и графом Compliance Core.
• Конфигурировать, поддерживать и эксплуатировать конвейеры ingest‑а, включая адаптеры REST API для автоматического ingest‑а атрибутов материалов и результатов compliance.
• Сопоставлять структуры AML и иерархии поставщиков с моделью данных графа.
• Разрабатывать задачи синхронизации для событий BOM с контролем версий и автоматических триггеров инженерных изменений.
• Проектировать и реализовывать сервис гармонизации ID для разрешения, валидации и пакетной обработки идентификаторов между системами.
• Проектировать и выполнять ETL‑конвейеры для загрузки, трансформации и валидации 7–10 лет исторических результатов оценки и агрегированных данных.
• Поддерживать общие задачи backend‑разработки в сотрудничестве с Tech Lead до присоединения выделенного Backend Engineer.
• Проводить постоянную валидацию качества данных и обеспечивать согласованность между интегрированными системами.
• Сотрудничать со стейкхолдерами compliance для выявления, расследования и устранения аномалий наследуемых данных до ingest‑а.

• 6+ лет опыта в data engineering с сильным акцентом на разработку ETL и проектирование конвейеров данных.
• Практический опыт в production с Apache Kafka, включая надёжные, воспроизводимые и безпотерянные паттерны обработки.
• Опыт моделирования графовых данных и загрузки данных в графовые базы данных. Конкретная технология графовой БД менее важна, чем сильная экспертиза в графовом моделировании, так как технология ещё выбирается.
• Высокая квалификация в SQL и опыт работы с языками запросов графов.
• Опыт выполнения масштабных исторических backfill‑ов и миграций данных, где точность данных должна быть проверена, задокументирована и формально подтверждена.
• Глубокое понимание принципов качества данных с умением определять, внедрять и обеспечивать контрольные точки качества.
• Опыт проектирования и интеграции REST API.
• Сильные навыки разработки на Python.
• Способность поддерживать общие задачи backend‑разработки совместно с Tech Lead до присоединения выделенного Backend Engineer.
• Возможность частично совпадать с рабочими часами Pacific Time.

• Опыт работы с Neo4j и Cypher.
• Опыт работы с Java и Spring Boot.
• Опыт работы с Siemens Teamcenter или аналогичными системами PLM/PDM и их структурами данных.
• Опыт управления мастер‑данными, гармонизации идентификаторов или сопоставления идентификаторов между системами.
• Знание доменов цепочки поставок, материалов или compliance.
• Опыт работы с инструментами и процессами массовой загрузки графов в крупном масштабе.
• Опыт исторических миграций данных, где требовалось продемонстрировать целостность и прослеживаемость для аудита или целей compliance.

• Возможность работать над передовыми проектами
• Работа в высокомотивированной и преданной команде
• Конкурентоспособная зарплата
• Гибкий график
• Пакет льгот — медицинская страховка, спорт
• Корпоративные социальные мероприятия
• Возможности профессионального развития
• Хорошо оборудованный офис