Data Platform Developer with GCP

Мы ищем Data Platform Engineer с сильным опытом в программной инженерии, который поможет проектировать, создавать и эксплуатировать корпоративную аналитическую платформу. Вы внесёте вклад в создание масштабируемых и устойчивых решений для данных и AI, а также будете поддерживать надёжную работу платформы в соответствии с потребностями бизнеса.

• Проектировать корпоративную цифровую аналитическую платформу данных
• Создавать корпоративную цифровую аналитическую платформу данных
• Поддерживать корпоративную цифровую аналитическую платформу данных
• Эксплуатировать корпоративную цифровую аналитическую платформу данных
• Проектировать архитектуру масштабируемых и устойчивых высокопроизводительных решений для данных с большим объёмом и большим количеством транзакций
• Разрабатывать конвейеры загрузки, преобразования и выгрузки данных для пакетных и потоковых нагрузок
• Поддерживать конвейеры загрузки, преобразования и выгрузки данных для пакетных и потоковых нагрузок
• Применять моделирование данных и SQL-преобразования для аналитических нагрузок
• Управлять партиционированием для оптимизации производительности и затрат
• Внедрять управление данными (data governance), каталогизацию, lineage и контроль доступа
• Определять стандарты CI/CD для решений в области данных и AI
• Следовать стандартам CI/CD для решений в области данных и AI
• Применять лучшие практики программной инженерии при разработке платформы
• Выявлять ограничения платформы и предлагать масштабируемые решения
• Собирать требования от технических и бизнес-стейкхолдеров

• Опыт работы в ролях, связанных с data engineering или платформами данных, с сильной базой в программной инженерии
• Навыки проектирования ПО и архитектуры, выходящие за рамки написания конвейеров
• Опыт работы с платформами данных с большим объёмом и большим количеством транзакций
• Знание SQL
• Опыт работы с Python, Java или Scala
• Опыт работы с Pandas для обработки данных
• Опыт оркестрации конвейеров, включая DAGs и Dataform
• Опыт моделирования данных
• Опыт работы со стеком данных GCP, включая партиционирование в BigQuery, lakehouse, хранилище данных (warehouse), storage и streaming
• Опыт работы с data governance, каталогизацией, а также оптимизацией затрат и производительности
• Опыт работы с облачной архитектурой, CI/CD, инфраструктурой как кодом и контейнерами
• Умение работать в консультативном формате с техническими и бизнес-стейкхолдерами
• Опыт работы по Agile
• Свободное владение испанским языком

• Знакомство с MLOps
• Знакомство с feature stores
• Знакомство с развёртыванием моделей
• Знакомство с Vector DBs
• Знакомство с инструментами GenAI, включая LangChain и Agents
• Знакомство с распределёнными системами
• Знакомство с крупномасштабной обработкой данных