Data Platform Engineer Wroclaw, Krakow, Gdansk, Warsaw, Poland

Мы ищем Data Platform Engineer для участия в программе совместных инноваций по созданию основы данных и MLOps для систем безопасности по предотвращению столкновений на автономных горных и строительных машинах — для мирового производителя тяжёлой техники, давно являющегося пионером в области автономных машин. В этой роли вы будете работать вместе с ML-командами над проектированием и владением многоуровневой платформой данных на AWS, которая обеспечивает обучение моделей безопасности и foundation-моделей, принимая в больших объёмах телеметрию датчиков, результаты симуляций и размеченные наборы данных. Ваша работа напрямую повлияет на качество обучения, целостность оценки и воспроизводимость моделей.

• Medallion-архитектура и событийно-ориентированный приём данных: спроектировать и реализовать medallion-архитектуру данных на AWS S3 с правилами перехода между уровнями, обеспечиваемыми через IAM, заменить ручные триггеры приёма данных событийно-ориентированными конвейерами и логикой обнаружения данных, гарантирующей полный захват.
• Гармонизация и шлюз полевых данных: создать адаптерный слой, преобразующий разнородные источники в канонический формат с сохранением временных метаданных, калибровки датчиков и пространственного контекста, а также шлюз для крупномасштабной телеметрии из реального мира с автоматической очисткой PII и выравниванием частот датчиков.
• Версионирование, lineage и разбиения без утечек: развернуть централизованный реестр метаданных с неизменяемым версионированием наборов данных и ветвлением на каждом уровне, обеспечить партиционирование на уровне эпизодов для строгого разделения на train/validation и выстроить цепочки происхождения данных от сырых данных через обработанные наборы и запуски обучения до артефактов моделей.
• Шлюзы качества и наблюдаемость: создать автоматические шлюзы валидации схем и настраиваемые circuit breakers, не позволяющие повреждённым данным переходить между уровнями, а также единую панель, отслеживающую показатели приёма и отклонения, сбои валидации, пропускную способность и задержку аугментации.
• Управляемая аугментация и контракты готовности к обучению: интегрировать конвейер аугментации данных как управляемый этап потока с полным lineage от исходных данных через параметры аугментации до результата, а также совместно с ML-командами определить контракты для полноты схемы, временного окна, пороговых значений качества разметки и шлюзов утверждения.
• От пилота к платформе: подтвердить работоспособность сквозного набора инструментов, от приёма данных до обучения моделей безопасности, на первом пилотном сценарии, например управлении штабелями материала колёсным погрузчиком, а затем масштабировать его как основу для дальнейших сценариев использования автономности.

• Более 5 лет опыта создания промышленных конвейеров данных и платформ данных.
• Сервисы данных AWS: глубокая экспертиза в S3, EventBridge, Step Functions, FSx for Lustre, CloudWatch и IAM, владение IaC и практиками GitOps.
• Распределённая обработка и Python: практический опыт работы с Ray или Spark и уверенное знание Python для создания ETL/ELT-конвейеров в больших масштабах.
• Форматы и событийно-ориентированный приём данных: твёрдые знания колоночных и бинарных форматов (Parquet, HDF5) и архитектур событийно-ориентированного приёма данных.
• Версионирование и lineage: практический опыт работы с LakeFS, DVC, Delta Lake или аналогичными инструментами версионирования наборов данных и lineage.
• Фреймворки качества данных: подтверждённый опыт проектирования валидации схем, circuit breakers и мониторинга доли отклонений.
• Отслеживание экспериментов: знакомство с MLflow или аналогичным реестром артефактов и системой отслеживания экспериментов.

• Данные датчиков робототехники: опыт работы с форматами данных автономных систем, такими как ROS bags, LiDAR, IMU и потоки камер.
• Опыт с lakehouse: предыдущая работа с medallion- или lakehouse-архитектурами.
• Генеративная аугментация: знакомство с такими инструментами, как NVIDIA Cosmos, конвейеры на основе Stable Diffusion или аналогичные.
• Области, критичные к безопасности: опыт работы в регулируемых или критичных к безопасности средах данных, таких как автомобилестроение, аэрокосмическая отрасль или промышленная автономность.

• Возможность работать над передовыми проектами

• Работа в высокомотивированной и преданной своему делу команде

• Конкурентная зарплата

• Гибкий график

• Пакет льгот — медицинская страховка, спорт

• Корпоративные социальные мероприятия

• Возможности профессионального развития

• Хорошо оборудованный офис