Senior Data Engineer

Nebius ищет Senior Data Engineer, который помимо построения и владения конвейерами данных будет также вести проектирование и техническое руководство в команде data engineering.

Это практическая роль data engineering, сосредоточенная на проектировании, реализации и поддержке надёжных потоков данных для аналитики и машинного обучения. Инфраструктура, облако и Kubernetes используются лишь как инструменты для надёжного и экономичного запуска конвейеров — это не роль SRE или platform engineering.

Вы можете работать в наших офисах в Tel Aviv, Israel.

• Проектировать, строить и владеть производственными конвейерами данных уровня production‑grade с использованием Python и SQL.
• Разрабатывать безсостоящие, идемпотентные конвейеры, устойчивые к повторным попыткам, сбоям и перебоям в инфраструктуре.
• Реализовывать трансформации данных, их валидацию и проверки качества.
• Оптимизировать конвейеры по производительности, надёжности и экономичности.
• Тесно сотрудничать с командами Analytics, Data Science и ML для предоставления надёжных наборов данных.
• Оркестрировать конвейеры с помощью фреймворка оркестрации рабочих процессов (например, Airflow или аналогичного).
• Пакетировать и запускать нагрузки данных с использованием Docker и развёртывать их в Kubernetes.
• Использовать автоскейлинг и Spot / Preemptible вычисления для эффективного выполнения конвейеров.
• Создавать автоматизацию CI/CD для конвейеров данных.
• Применять Infrastructure as Code только для provision и управления инфраструктурой, необходимой для запуска конвейеров.

• 8+ лет опыта работы в качестве Data Engineer, преимущественно в построении конвейеров данных.
• 6+ лет практического опыта с Python и SQL.
• 3+ года опыта запуска нагрузок в Kubernetes.
• Глубокое понимание безсостоящего проектирования систем и идемпотентной обработки данных.
• Опыт построения и эксплуатации конвейеров данных в облачных средах.
• Опыт работы с фреймворками оркестрации рабочих процессов.
• Сильные фундаментальные знания Linux и навыки отладки в продакшн.
• Владение разговорным и письменным английским.

• Опыт вклада в open‑source программное обеспечение или активной работы с ним.
• Опыт построения конвейеров данных с использованием Apache Spark или аналогичных распределённых фреймворков обработки.
• Опыт создания конвейеров данных, поддерживающих рабочие процессы машинного обучения.
• Знакомство с экономически оптимизированной обработкой данных (например, Spot / Preemptible вычисления).
• Опыт работы с реляционными и нереляционными хранилищами данных.
• Опыт работы с крупномасштабными или высоконадежными системами данных.
• Опыт сотрудничества с сильными командами Data Science и ML.

• Конкурентоспособная компенсация
• Возможности карьерного роста и обучения
• Гибкость и владение задачами
• Коллаборативная и инновационная культура
• Возможность работать над значимыми AI‑проектами
• Международная среда и талантливые команды
• Быстрое развитие — Смелое мышление — Постоянный рост — Значимый вклад — Доверие и реальное владение — Возможность формировать будущее AI
• Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и предоставлению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.
• Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство как условие найма.
• Если вам нужны условия доступа в процессе подачи заявки, пожалуйста, дайте нам знать.