Databricks Engineer

Мы ищем Data Engineer для построения пакетных и потоковых конвейеров на Databricks с использованием PySpark и Delta Lake. Этот человек мигрирует наследованные хранилища данных и ETL‑нагрузки в управляемый Lakehouse, моделируя архитектуру медальона, которая поддерживает аналитические и AI‑кейсы. Сильные навыки SQL, Python и опыт работы с управлением Unity Catalog завершают роль.

• Разрабатывать, строить и эксплуатировать пакетные и потоковые конвейеры данных на Databricks с использованием PySpark, Delta Lake и Databricks Workflows.
• Моделировать и поддерживать архитектуру медальона (bronze/silver/gold), обслуживающую аналитиков, отчетность и потребителей машинного обучения.
• Мигрировать наследованные ETL и нагрузки хранилища данных в Lakehouse с проверенной паритетностью данных и минимальными бизнес‑нарушениями.
• Использовать Claude или GitHub Copilot в качестве ускорителя разработки, генерируя каркасы кода, пиша и проверяя тесты, создавая документацию и прототипируя решения.
• Писать чистый, хорошо протестированный Python и SQL; поддерживать высокие стандарты через код‑ревью и документацию.
• Оптимизировать Spark‑задачи и Delta‑таблицы для производительности и стоимости, включая партиционирование, кластеризацию, кэширование и подбор размеров кластера.
• Внедрять контроль качества данных, прослеживаемости и управления с помощью Unity Catalog и автоматических проверок валидности.
• Отлаживать, устранять неполадки и решать сбои конвейеров, дефекты данных и инциденты в продакшене.
• Участвовать в практиках Agile или продукт‑ориентированной доставки, включая планирование спринтов и ретроспективы.
• Сотрудничать с инженерами DevOps, платформы и аналитики по вопросам наблюдаемости, безопасности и лучших практик соответствия.

• 4+ лет профессионального опыта в области инженерии данных, с прямой экспертизой в Apache Spark и облачных архитектурах данных.
• Сильный практический опыт построения конвейеров данных с Databricks, Apache Spark (PySpark) и Delta Lake.
• Продвинутый уровень SQL и Python, с сильными навыками моделирования данных в рамках размерных и Lakehouse‑паттернов.
• Опыт потокового ввода с использованием Structured Streaming, Auto Loader, Kafka или Event Hubs.
• Опыт оркестрации рабочих процессов (Databricks Workflows, Airflow или Azure Data Factory).
• Опыт миграций наследованных платформ, модернизации ETL или управления чистотой данных при переносе старых систем.
• Сильные навыки решения проблем, сотрудничества и коммуникации, включая наставничество младших инженеров и объяснение концепций данных нетехническим заинтересованным сторонам.
• Знакомство с Unity Catalog, управлением данными, контролем доступа и обработкой PII.
• Опыт работы с dbt или эквивалентным фреймворком трансформаций.
• Знакомство с безопасными стандартами кодирования и отраслевыми лучшими практиками безопасности.
• Опыт поставки производственных платформ данных в масштабе.
• Уровень английского Upper-intermediate.

• Опыт Infrastructure as Code (IaC) с использованием Terraform и CI/CD с Azure DevOps.
• Опыт работы с реляционными базами данных (в частности PostgreSQL) и концепциями постоянного хранения данных.
• Знакомство с инструментами логирования и мониторинга (например, Dynatrace, CloudWatch, системные таблицы Databricks).
• Опыт работы в Agile или командных средах разработки предпочтителен.

• Рост без границ: развивайте навыки через наставничество, внутренние TechTalks, сложные проекты и выделенный ежегодный бюджет на обучение.
• Конкурентная компенсация: получайте признание, соответствующее вашим навыкам и вкладу, с регулярными обзорами производительности и компенсации.
• Гибкость: работа 100 % удаленно с гибким графиком, поддерживающим фокус, автономию и здоровый рабочий ритм.
• Смысловые, современные проекты: создавайте значимые продукты с использованием современных технологий вместе с глобальными командами и ведущими брендами.
• Коллаборативная культура: присоединяйтесь к поддерживающей среде без микроменеджмента, где идеи приветствуются, а вклад признается.
• Благополучие и поддержка: доступ к локальным программам благополучия и поддержке, ориентированной на людей, адаптированной к вашему местоположению.