Databricks Developer

Trinetix ищет квалифицированного Databricks Developer со сильной экспертизой в Apache Spark, Python и современных практиках data engineering. Эта роль включает проектирование, разработку и поддержку масштабируемых конвейеров ingest‑а, трансформации и аналитики данных с использованием Databricks и сопутствующих технологий. Идеальный кандидат аналитичен, внимателен к деталям и имеет опыт работы с данными большого объёма, оптимизацией производительности и надёжными решениями обработки данных.

• Проектировать, разрабатывать и поддерживать масштабируемые конвейеры ingest‑а, трансформации и аналитики данных с использованием Databricks
• Разрабатывать решения обработки данных с использованием Apache Spark и PySpark
• Работать с наборами данных большого масштаба и внедрять стратегии настройки производительности и оптимизации
• Проектировать и поддерживать решения Delta Lake / Delta Table для обеспечения надёжной и масштабируемой обработки данных
• Разрабатывать и поддерживать модульные тесты, обеспечивая качество и надёжность нагрузок Databricks
• Внедрять и управлять Databricks Workflows для обработки данных и оркестрации конвейеров
• Работать с колонковыми форматами хранения, такими как Parquet, и оптимизировать решения обработки и хранения данных
• Анализировать бизнес‑ и технические требования и преобразовывать их в эффективные решения data engineering
• Сотрудничать с кросс‑функциональными командами для обеспечения соответствия конвейеров и решений техническим и бизнес‑требованиям
• Применять лучшие практики data engineering и разработки программного обеспечения для создания поддерживаемых, масштабируемых и надёжных решений

• 5+ лет практического опыта разработки программного обеспечения
• Глубокая экспертиза в Apache Spark, включая практический опыт реализации решений на Databricks
• Продвинутый уровень Python и навыки data engineering, включая значительный опыт работы с PySpark, Pandas и сопутствующими библиотеками
• Опыт разработки и поддержки модульных тестов для нагрузок Databricks
• Твёрдое понимание колонковых форматов хранения, таких как Parquet
• Практический опыт работы с Delta Lake и Delta Tables
• Доказанный опыт работы с небольшими и большими объёмами данных, включая настройку производительности и оптимизацию
• Опыт построения конвейеров ingest‑а, трансформации и аналитики данных
• Практический опыт работы с Databricks Workflows
• Сильные аналитические и проблемно‑решающие навыки с высоким вниманием к деталям
• Разговорный английский — уровень B2 или выше
• Разговорный украинский

• Знакомство с практиками Databricks DevOps
• Опыт работы с процессами CI/CD для нагрузок data engineering
• Понимание жизненного цикла разработки программного обеспечения и лучших практик инженерии
• Опыт работы в распределённых средах обработки данных
• Опыт работы в кросс‑функциональных, распределённых командах
• Знакомство с корпоративными платформами данных и средами больших данных