DataOps Consultant, Lakehouse Support

Мы ищем Support Engineer, который сочетает опыт продуктивной поддержки с инженерными навыками DevOps и владением AI. Эта роль охватывает весь портфель D&E: собственные приложения на .NET/C#, API, событийно-ориентированные системы, платформы данных и BI-инструменты. Вы будете обеспечивать операционную стабильность и постоянно повышать надежность с помощью автоматизации, observability и современных практик DevOps. Вы будете работать в тесном контакте с Software Engineers как связующее звено между разработкой и эксплуатацией, отвечая за решение инцидентов, работоспособность CI/CD-пайплайнов, автоматизацию инфраструктуры и готовность к продуктивной эксплуатации. Вы будете ежедневно использовать AI-инструменты, чтобы ускорять первичный анализ (triage), автоматизировать runbooks и заранее выявлять проблемы до того, как они затронут пользователей. Мы — AI-first инженерная команда: вы будете использовать observability на базе AI, автоматизированную диагностику и интеллектуальное управление инцидентами, чтобы быстрее решать проблемы и повышать надежность систем.

• Выполнять глубокую операционную диагностику data pipelines (batch/stream); координировать решение вопросов между командами platform engineering, Data Engineers и командами доменов данных (Databricks, Snowflake, Palantir); обеспечивать корректное использование ITSM-инструментов (например, ServiceNow) для отслеживания инцидентов и управления их жизненным циклом; мониторить критические рабочие процессы с помощью Dynatrace; оркестрировать рабочие процессы с помощью StoneBranch; использовать метаданные и документацию для устранения неполадок и анализа первопричин; обеспечивать четкое распределение ответственности, пути эскалации и коммуникацию во время инцидентов; сокращать шум инцидентов и повторяющиеся проблемы с помощью структурированного управления проблемами

• Продуктивная поддержка и управление инцидентами:
• Отвечать за продуктивную поддержку уровня L2/L3 для собственных приложений (.NET/C#, Python), API, событийно-ориентированных систем и платформ данных.
• Руководить первичным анализом (triage), диагностикой и решением инцидентов со структурированным анализом первопричин (RCA) и пост-инцидентными обзорами.
• Управлять процессами управления инцидентами, проблемами и изменениями в соответствии с лучшими практиками ITIL.
• Координировать работу с командами разработки, инфраструктуры и вендорами для эскалации и решения сложных проблем в продуктивной среде.
• Поддерживать и улучшать наборы проверок продуктивной среды, canary-проверки и playbooks по надежности. DevOps и CI/CD:
• Отвечать за CI/CD-пайплайны в Azure DevOps и поддерживать их: автоматизация сборки, тестирования, развертывания и релизов как для приложений, так и для проектов платформы данных.
• Infrastructure as Code: Terraform, Bicep или шаблоны ARM для подготовки и управления облачными ресурсами Azure.
• Оркестрация контейнеров: Docker и Kubernetes (AKS) для развертывания, масштабирования и устранения неполадок контейнеризированных сервисов.
• Управление окружениями: подготовка, настройка и поддержка сред разработки, staging и production.
• Внедрять и поддерживать стратегии развертывания (blue-green, canary, rolling) для минимизации рисков в продуктивной среде. Облако и инфраструктура:
• Azure: практический опыт работы с App Services, AKS, Functions, Event Hubs, Storage, Key Vault, Azure SQL и Azure Monitor.
• Управлять состоянием облачных ресурсов, оптимизацией затрат и уровнем безопасности.
• Поддерживать микросервисные архитектуры: service discovery, балансировка нагрузки, масштабирование и паттерны устойчивости.
• Основы сетей: DNS, балансировщики нагрузки, межсетевые экраны, VNets и private endpoints в Azure. Observability и мониторинг:
• Внедрять и использовать стеки мониторинга: Dynatrace, Azure Monitor или аналоги.
• Создавать и поддерживать правила оповещений, дашборды и отслеживание SLO/SLI для критических сервисов и data pipelines.
• Распределенная трассировка с OpenTelemetry: сопоставлять trace ID между сервисами, диагностировать узкие места по задержкам и проверять достоверность сигналов.
• Data observability: мониторить состояние data pipelines, выявлять аномалии, проблемы с задержками и потерю данных с помощью платформ вроде Monte Carlo Data или аналогов.
• Агрегация и анализ логов для быстрой диагностики инцидентов. Поддержка приложений и платформы данных:
• Приложения: поддержка backend-сервисов на .NET/C#, REST/GraphQL API, событийно-ориентированных систем (Solace, Kafka, RabbitMQ) и WPF/веб-фронтендов.
• Платформы данных: поддержка ETL/ELT-пайплайнов (PySpark, Spark), платформ больших данных (Databricks, Palantir Foundry) и хранилищ данных.
• Базы данных: продвинутый SQL для диагностики проблем с данными, проверки трансформаций и поддержки миграций (SQL Server, MongoDB).
• Планирование и оркестрация: управление batch-нагрузками в StoneBranch, Airflow или аналогах. AI-First Engineering (как мы работаем)
• Triage инцидентов на базе AI: использовать AI-инструменты для кластеризации оповещений, предположений о первопричинах и рекомендаций шагов по решению на основе исторических данных об инцидентах.
• Автоматизированные runbooks: создавать и поддерживать диагностические скрипты с помощью AI, ускоряющие типовые процессы устранения неполадок.
• AIOps: использовать AI/ML для выявления аномалий, предиктивных оповещений и прогнозирования мощностей в приложениях и data pipelines.
• AI-ассистенты для кода (GitHub Copilot, Cursor) используются ежедневно для скриптов, автоматизации, конфигурации и документации.
• Поддерживать AI-приложения и сервисы, развернутые командами D&E; понимать model serving, inference pipelines и их эксплуатационные требования.
• Responsible AI: следовать инженерным playbooks по работе с данными (никаких конфиденциальных данных в промптах), безопасности и observability изменений, созданных с помощью AI. Скрипты и автоматизация:
• Скрипты на Python для автоматизации эксплуатации, проверки данных и диагностических инструментов.
• PowerShell для администрирования Windows и управления ресурсами Azure.
• Создавать механизмы самовосстановления и автоматического устранения проблем, где это возможно.

Palantir (Foundry) — настройка DQC в workshop, диагностика сбоев сборки и data pipelines Monte Carlo — управление оповещениями о качестве данных и observability Azure DevOps — управление репозиториями, CI/CD Практическое знание данных в сфере управления инвестициями: терминология портфеля (maturity date, value date), жизненный цикл сделки (trade lifecycle), рыночные данные и данные о рисках; знакомство с профильными системами (Optima, Cardia) Понимание концепций data lineage, observability и операций на основе метаданных Опыт работы с корпоративными платформами данных и инструментами batch-оркестрации / потоков работы с данными