DataOps Consultant, Lakehouse Support

Мы ищем Support Engineer, который сочетает опыт поддержки production-среды с инженерными навыками DevOps и уверенным владением AI. Эта роль охватывает весь портфель D&E: собственные приложения на .NET/C#, API, событийно-ориентированные системы, платформы данных и BI-инструменты. Вы будете обеспечивать операционную стабильность и при этом постоянно повышать надёжность за счёт автоматизации, observability и современных практик DevOps. Вы будете работать напрямую вместе с Software Engineers как связующее звено между разработкой и эксплуатацией, отвечая за разрешение инцидентов, состояние CI/CD-пайплайнов, автоматизацию инфраструктуры и готовность к production. Вы будете ежедневно использовать AI-инструменты, чтобы ускорять первичный разбор инцидентов, автоматизировать runbooks и заблаговременно выявлять проблемы до того, как они повлияют на пользователей. Мы — AI-first инженерная команда: вы будете использовать observability на базе AI, автоматизированную диагностику и интеллектуальное управление инцидентами, чтобы быстрее решать проблемы и повышать надёжность систем.

• Выполнять глубокую операционную диагностику data pipelines (batch/stream); координировать решение проблем между командами platform engineering, Data Engineers и командами предметных областей данных (Databricks, Snowflake, Palantir); обеспечивать правильное использование ITSM-инструментов (например, ServiceNow) для отслеживания инцидентов и управления их жизненным циклом; мониторить критически важные рабочие процессы с помощью Dynatrace; оркестрировать рабочие процессы с помощью StoneBranch; использовать метаданные и документацию для устранения неполадок и анализа первопричин; поддерживать чёткое распределение ответственности, пути эскалации и коммуникацию во время инцидентов; сокращать шум инцидентов и повторяющиеся проблемы с помощью структурированного управления проблемами

• Production Support and Incident Management:
• Отвечать за поддержку production уровня L2/L3 для собственных приложений (.NET/C#, Python), API, событийно-ориентированных систем и платформ данных.
• Руководить первичным разбором, диагностикой и разрешением инцидентов со структурированным анализом первопричин (RCA) и пост-инцидентными обзорами.
• Управлять процессами управления инцидентами, проблемами и изменениями в соответствии с лучшими практиками ITIL.
• Координировать работу с командами разработки, инфраструктуры и вендорами для эскалации и разрешения сложных проблем в production.
• Поддерживать и улучшать наборы проверок production, canary-проверки и playbooks по надёжности. DevOps and CI/CD:
• Отвечать за CI/CD-пайплайны в Azure DevOps и поддерживать их: автоматизация сборки, тестирования, развёртывания и релизов как для приложений, так и для проектов платформы данных.
• Infrastructure as Code: Terraform, Bicep или шаблоны ARM для создания и управления облачными ресурсами Azure.
• Оркестрация контейнеров: Docker и Kubernetes (AKS) для развёртывания, масштабирования и устранения неполадок контейнеризированных сервисов.
• Управление окружениями: создавать, настраивать и поддерживать окружения для разработки, staging и production.
• Внедрять и поддерживать стратегии развёртывания (blue-green, canary, rolling) для минимизации рисков в production. Cloud and Infrastructure:
• Azure: практический опыт работы с App Services, AKS, Functions, Event Hubs, Storage, Key Vault, Azure SQL и Azure Monitor.
• Управлять состоянием облачных ресурсов, оптимизацией затрат и уровнем безопасности.
• Поддерживать микросервисные архитектуры: service discovery, балансировка нагрузки, масштабирование и паттерны отказоустойчивости.
• Основы сетей: DNS, балансировщики нагрузки, файрволы, VNets и private endpoints в Azure. Observability and Monitoring:
• Внедрять и вести стеки мониторинга: Dynatrace, Azure Monitor или аналогичные.
• Создавать и поддерживать правила оповещений, дашборды и отслеживание SLO/SLI для критически важных сервисов и data pipelines.
• Распределённая трассировка с OpenTelemetry: сопоставлять trace ID между сервисами, диагностировать узкие места по задержкам и проверять достоверность сигналов.
• Data observability: отслеживать состояние data pipelines, выявлять аномалии, проблемы с задержками и потерю данных с помощью платформ вроде Monte Carlo Data или аналогичных.
• Агрегация и анализ логов для быстрой диагностики инцидентов. Application and Data Platform Support:
• Applications: поддержка backend-сервисов на .NET/C#, API REST/GraphQL, событийно-ориентированных систем (Solace, Kafka, RabbitMQ) и фронтендов на WPF/web.
• Data Platforms: поддержка ETL/ELT-пайплайнов (PySpark, Spark), платформ больших данных (Databricks, Palantir Foundry) и хранилищ данных.
• Databases: продвинутый SQL для диагностики проблем с данными, проверки трансформаций и поддержки миграций (SQL Server, MongoDB).
• Scheduling and Orchestration: управление пакетными нагрузками в StoneBranch, Airflow или аналогичных инструментах. AI-First Engineering (How We Work)
• Первичный разбор инцидентов с помощью AI: использовать AI-инструменты для кластеризации алертов, предложения первопричин и рекомендаций по шагам решения на основе исторических данных об инцидентах.
• Автоматизированные runbooks: создавать и поддерживать диагностические скрипты с поддержкой AI, ускоряющие типовые процессы устранения неполадок.
• AIOps: использовать AI/ML для выявления аномалий, предиктивных оповещений и прогнозирования ёмкости в приложениях и data pipelines.
• AI-ассистенты для кодирования (GitHub Copilot, Cursor) используются ежедневно для скриптов, автоматизации, конфигурации и документации.
• Поддерживать приложения и сервисы на основе AI, развёрнутые командами D&E; понимать model serving, inference pipelines и их эксплуатационные требования.
• Responsible AI: следовать инженерным playbooks по работе с данными (никаких конфиденциальных данных в промптах), безопасности и observability изменений, созданных с помощью AI. Scripting and Automation:
• Скрипты на Python для автоматизации эксплуатации, проверки данных и диагностических инструментов.
• PowerShell для администрирования Windows и управления ресурсами Azure.
• Создавать механизмы самовосстановления и автоматического устранения неполадок там, где это возможно.

Palantir (Foundry) — настройка DQC в workshop, диагностика сбоев сборки и data pipelines Monte Carlo — управление алертами по качеству данных и observability Azure DevOps — управление репозиториями, CI/CD Практическое знание данных в сфере управления инвестициями: терминология портфеля (maturity date, value date), жизненный цикл сделки, рыночные данные и данные о рисках; знакомство с предметными системами (Optima, Cardia) Понимание data lineage, observability и концепций операций, управляемых метаданными Опыт работы с корпоративными платформами данных и инструментами пакетной оркестрации / рабочих процессов с данными