Senior Data Engineer - Data Platform Engineering

Мы ищем Senior Data Engineer со специализацией в Data Platform Engineering для работы над проектом, посвящённым observability и embedded-аналитике, для ведущего клиента из автомобильной отрасли. Цель проекта — создать масштабируемую и удобную в сопровождении основу данных, которая преобразует логи, события, измерения и телеметрию из встроенных, облачных, тестовых и прикладных систем в надёжные и пригодные для повторного использования продукты данных. В этой роли вы будете заниматься архитектурой и инженерной разработкой платформы данных, включая пайплайны, оркестрацию, общие модели данных, качество данных и операционный мониторинг.

• - Проектировать и внедрять целевую архитектуру данных и производственную основу данных. - Создавать и поддерживать надёжные, автоматизированные пайплайны данных и преобразования. - Разрабатывать общие модели данных, схемы и наборы данных, готовые к анализу. Внедрять оркестрацию данных, контроль качества данных, мониторинг и lineage. - Интегрировать данные из встроенных, облачных, тестовых и прикладных систем с помощью API и других интерфейсов данных. - Повышать надёжность, масштабируемость, производительность и удобство сопровождения платформы. - Поддерживать аналитические сценарии использования, сохраняя возможность повторного использования базовой платформы данных. - Готовить операционную документацию и поддерживать передачу знаний командам клиента

• - Большой опыт проектирования и эксплуатации промышленных платформ данных и пайплайнов. - Уверенное владение Python и SQL. - Опыт работы с облачными решениями для данных. - Глубокие знания в области моделирования данных, схем и преобразований. - Опыт работы с оркестрацией данных и автоматизированными рабочими процессами. - Опыт интеграции систем через API. - Опыт работы с качеством данных, мониторингом пайплайнов и observability. - Опыт работы с системами контроля версий и практиками промышленной разработки. - Понимание вопросов безопасности данных, конфиденциальности и контроля доступа.

• Опыт работы в автомобильной отрасли, с connected-car или встраиваемыми системами.
• Опыт работы с телеметрией, событиями и данными временных рядов.
• Опыт работы с data lineage и governance данных.
• Опыт поддержки дашбордов и аналитических платформ.
• Опыт оптимизации платформ данных по производительности и стоимости.