Senior Databricks Engineer

Мы ищем Senior Data Engineer для создания пакетных и потоковых конвейеров данных в Databricks с использованием PySpark и Delta Lake. Этот специалист мигрирует наследованные хранилища данных и нагрузки ETL в управляемый Lakehouse, моделируя архитектуру medallion, которая поддерживает аналитические и AI‑сценарии. Сильные навыки SQL, Python и опыт работы с управлением Unity Catalog завершают роль.

• Проектировать, создавать и эксплуатировать пакетные и потоковые конвейеры данных в Databricks с использованием PySpark, Delta Lake и Databricks Workflows.
• Моделировать и поддерживать архитектуру medallion (bronze/silver/gold), обслуживающую аналитиков, отчётность и потребителей машинного обучения.
• Мигрировать наследованные нагрузки ETL и хранилища данных в Lakehouse с проверенной паритетностью данных и минимальными бизнес‑нарушениями.
• Использовать Claude или GitHub Copilot как ускоритель разработки, генерируя каркасы кода, пиша и проверяя тесты, создавая документацию и прототипируя решения.
• Писать чистый, хорошо протестированный Python и SQL; поддерживать высокие стандарты через ревью кода и документацию.
• Оптимизировать Spark‑задачи и Delta‑таблицы для производительности и стоимости, включая партиционирование, кластеризацию, кэширование и подбор размеров кластера.
• Внедрять контроль качества данных, их прослеживаемость и управление с помощью Unity Catalog и автоматических проверок.
• Отлаживать, устранять неисправности и решать сбои конвейеров, дефекты данных и инциденты в продакшене.
• Сотрудничать с DevOps, платформенными и аналитическими инженерами по вопросам наблюдаемости, безопасности и лучших практик соответствия.

• 3+ лет профессионального опыта в инженерии данных, с прямой экспертизой в Apache Spark и облачных архитектурах данных.
• Сильный практический опыт построения конвейеров данных с Databricks, Apache Spark (PySpark) и Delta Lake.
• Продвинутый уровень SQL и Python, с сильными навыками моделирования данных в измерительных и Lakehouse‑паттернах.
• Опыт потокового ввода данных с использованием Structured Streaming, Auto Loader, Kafka или Event Hubs.
• Опыт оркестрации рабочих процессов (Databricks Workflows, Airflow или Azure Data Factory).
• Опыт миграций наследованных платформ, модернизации ETL или управления чистотой данных при переносе старых систем.
• Сильные навыки решения проблем, сотрудничества и коммуникации.
• Знакомство с Unity Catalog, управлением данными, контролем доступа и обработкой PII.
• Опыт работы с dbt или аналогичным фреймворком трансформаций.
• Знакомство с безопасными стандартами кодирования и отраслевыми лучшими практиками безопасности.
• Опыт доставки производственных платформ данных в масштабе.
• Уровень английского Upper-intermediate.

• Опыт работы с Infrastructure as Code (IaC) с использованием Terraform и CI/CD с Azure DevOps.
• Опыт работы с реляционными базами данных (в частности PostgreSQL) и концепциями сохранения данных.
• Знакомство с инструментами логирования и мониторинга (например, Dynatrace, CloudWatch, Databricks system tables).
• Опыт работы в Agile или командных средах разработки приветствуется.

• Рост без границ: развивайте навыки через наставничество, внутренние TechTalks, сложные проекты и выделенный ежегодный бюджет на обучение
• Конкурентоспособная компенсация: получайте признание, соответствующее вашим навыкам и вкладу, с регулярными обзорами эффективности и вознаграждения
• Гибкость: работа 100 % удалённо с гибким графиком, поддерживающим концентрацию, автономию и здоровый ритм работы
• Значимые, современные проекты: создавайте влиятельные продукты с использованием современных технологий вместе с глобальными командами и ведущими брендами
• Коллаборативная культура: присоединяйтесь к поддерживающей среде без микроменеджмента, где идеи приветствуются, а вклад признаётся
• Благополучие и поддержка: доступ к локальным программам благополучия и ориентированной на людей поддержке, адаптированной к вашему местоположению