Senior Data Engineer (AV)

Вы начнёте с пайплайнов данных изображений и карт, которые работают у нас сегодня, а по мере появления сенсорной платформы будете строить пайплайны, превращающие её данные в обучающие датасеты для моделей автономного вождения.

• Создавать пайплайны, которые передают данные с нескольких датчиков (видео с нескольких камер, IMU, LiDAR, GPS) с транспортных средств в облачное хранилище, синхронизировать потоки и выполнять их географическую привязку
• Отвечать за структуру и жизненный цикл хранения данных датчиков: партиционирование, «горячие» и архивные уровни, контроль затрат по мере роста объёма
• Создавать валидацию и мониторинг на пути приёма данных: неполные загрузки, отсутствующие или несинхронизированные потоки, транспортные средства, которые перестали выдавать пригодные к использованию данные
• Готовить обучающие датасеты для моделей автономного вождения: отбирать данные по местоположению, маршруту и условиям, версионировать датасеты и поставлять их в форматах, которые нужны ML-командам
• До этого момента: взять на себя и развивать текущие пайплайны изображений и GPS-треков с камер на транспортных средствах, а также участвовать в работе над геоданными (приём данных из данных компании, OpenStreetMap, Overture Maps и от поставщиков, conflation, валидация, публикация)
• Работать с данными компании в BigQuery и поддерживать высокую скорость пространственных запросов к большим таблицам PostGIS и GeoParquet

• 4+ года в инженерии данных
• Опыт работы с данными нескольких датчиков с транспортных средств или роботов: камеры, IMU или LiDAR, и поддержание синхронизации потоков
• Опыт подготовки обучающих датасетов для моделей компьютерного зрения или автономного вождения.
• Большие объёмы бинарных или медиаданных в объектном хранилище (S3 или GCS); распределённая обработка (Spark или аналог)
• Практический опыт работы с пространственными данными: PostGIS, GeoPandas/Shapely, системы координат, GPS-треки
• Уверенное знание Python и SQL; AWS или GCP, Docker, Kubernetes

• Форматы данных датчиков, такие как ROS2 bag, MCAP или облака точек
• Parquet, Delta или Iceberg; Databricks
• Argo Workflows или Airflow
• OpenStreetMap и Overture Map
• QGIS
• BigQuery

• Помогайте нам бороться с несправедливостью, создавая честный выбор для миллионов людей в 47 странах.
• Развивайте профессиональные навыки: вам будут доступны менторство, карьерное консультирование и обучающие программы
• Работайте с командами по всему миру и получайте международный опыт благодаря нашей программе Global Talent Exchange Program
• Участвуйте в общекорпоративных челленджах, наградах, спортивных активностях, социальных проектах и волонтёрских инициативах, которые организуют сотрудники
• Работайте рядом с людьми, которые проявляют инициативу, открыто говорят и бросают себе вызов ради роста
• Улучшайте знание языков на курсах с частичным софинансированием и во внутренних разговорных клубах

Итоговый набор льгот может отличаться в зависимости от локации.