DataOps Consultant, Lakehouse Support

Мы ищем Support Engineer, который сочетает экспертизу в поддержке production-среды с инженерными навыками DevOps и свободным владением AI. Эта роль охватывает весь портфель D&E: собственные приложения на .NET/C#, API, событийно-ориентированные системы, платформы данных и BI-инструменты. Вы будете обеспечивать операционную стабильность и при этом постоянно повышать надёжность с помощью автоматизации, observability и современных практик DevOps. Вы будете работать непосредственно рядом с Software Engineers как связующее звено между разработкой и эксплуатацией, отвечая за решение инцидентов, состояние CI/CD-пайплайнов, автоматизацию инфраструктуры и готовность к production. Вы будете ежедневно использовать AI-инструменты, чтобы ускорять первичный разбор инцидентов, автоматизировать runbooks и заранее выявлять проблемы до того, как они повлияют на пользователей. Мы — AI-first инженерная команда: вы будете использовать observability на базе AI, автоматизированную диагностику и интеллектуальное управление инцидентами, чтобы быстрее решать проблемы и повышать надёжность систем.

• Выполнять глубокую операционную диагностику data pipelines (batch/stream); координировать решение проблем между командами platform engineering, Data Engineers и командами доменов данных (Databricks, Snowflake, Palantir); обеспечивать корректное использование ITSM-инструментов (например, ServiceNow) для отслеживания инцидентов и управления их жизненным циклом; мониторить критичные рабочие процессы с помощью Dynatrace; оркестрировать рабочие процессы с помощью StoneBranch; использовать метаданные и документацию для поиска неисправностей и анализа первопричин; поддерживать чёткую зону ответственности, пути эскалации и коммуникацию во время инцидентов; сокращать шум от инцидентов и повторяющиеся проблемы с помощью структурированного управления проблемами

• Поддержка production и управление инцидентами:
• Отвечать за поддержку production уровней L2/L3 для собственных приложений (.NET/C#, Python), API, событийно-ориентированных систем и платформ данных.
• Руководить первичным разбором, диагностикой и решением инцидентов со структурированным анализом первопричин (RCA) и обзорами после инцидентов.
• Управлять процессами управления инцидентами, проблемами и изменениями в соответствии с лучшими практиками ITIL.
• Координировать работу с командами разработки, инфраструктуры и вендорами для эскалации и решения сложных проблем в production.
• Поддерживать и улучшать наборы проверок production, canary-проверки и playbooks по надёжности. DevOps и CI/CD:
• Отвечать за CI/CD-пайплайны в Azure DevOps и поддерживать их: автоматизация сборки, тестирования, развёртывания и релизов как для приложений, так и для проектов платформы данных.
• Infrastructure as Code: Terraform, Bicep или шаблоны ARM для создания и управления облачными ресурсами Azure.
• Оркестрация контейнеров: Docker и Kubernetes (AKS) для развёртывания, масштабирования и устранения неполадок контейнеризированных сервисов.
• Управление окружениями: создавать, настраивать и поддерживать окружения разработки, staging и production.
• Внедрять и поддерживать стратегии развёртывания (blue-green, canary, rolling) для минимизации рисков в production. Облако и инфраструктура:
• Azure: практический опыт работы с App Services, AKS, Functions, Event Hubs, Storage, Key Vault, Azure SQL и Azure Monitor.
• Управлять состоянием облачных ресурсов, оптимизацией затрат и уровнем безопасности.
• Поддерживать микросервисные архитектуры: service discovery, балансировка нагрузки, масштабирование и паттерны отказоустойчивости.
• Основы сетей: DNS, балансировщики нагрузки, файрволы, VNets и private endpoints в Azure. Observability и мониторинг:
• Внедрять и вести стеки мониторинга: Dynatrace, Azure Monitor или аналогичные.
• Создавать и поддерживать правила алертинга, дашборды и отслеживание SLO/SLI для критичных сервисов и data pipelines.
• Распределённая трассировка с OpenTelemetry: сопоставлять trace ID между сервисами, диагностировать узкие места по задержкам и проверять достоверность сигналов.
• Data observability: мониторить состояние data pipelines, выявлять аномалии, проблемы с задержками и потерю данных с помощью платформ, таких как Monte Carlo Data, или аналогичных.
• Агрегация и анализ логов для быстрой диагностики инцидентов. Поддержка приложений и платформы данных:
• Приложения: поддерживать backend-сервисы на .NET/C#, REST/GraphQL API, событийно-ориентированные системы (Solace, Kafka, RabbitMQ) и WPF/веб-фронтенды.
• Платформы данных: поддерживать ETL/ELT-пайплайны (PySpark, Spark), платформы больших данных (Databricks, Palantir Foundry) и хранилища данных.
• Базы данных: продвинутый SQL для диагностики проблем с данными, проверки трансформаций и поддержки миграций (SQL Server, MongoDB).
• Планирование и оркестрация: управлять пакетными задачами в StoneBranch, Airflow или аналогичных инструментах. AI-First Engineering (как мы работаем)
• Первичный разбор инцидентов с помощью AI: использовать AI-инструменты для кластеризации алертов, предложения первопричин и рекомендаций по шагам решения на основе исторических данных об инцидентах.
• Автоматизированные runbooks: создавать и поддерживать диагностические скрипты с поддержкой AI, ускоряющие типовые процессы устранения неполадок.
• AIOps: использовать AI/ML для обнаружения аномалий, предиктивного алертинга и прогнозирования ёмкости в приложениях и data pipelines.
• AI-ассистенты для кодинга (GitHub Copilot, Cursor) используются ежедневно для скриптов, автоматизации, конфигурации и документации.
• Поддерживать приложения и сервисы на основе AI, развёрнутые командами D&E; понимать model serving, inference pipelines и их эксплуатационные требования.
• Responsible AI: следовать инженерным playbooks по работе с данными (никаких чувствительных данных в промптах), безопасности и observability изменений, созданных с помощью AI. Скриптинг и автоматизация:
• Скрипты на Python для операционной автоматизации, проверки данных и диагностических инструментов.
• PowerShell для администрирования Windows и управления ресурсами Azure.
• Создавать механизмы самовосстановления и автоматическое устранение проблем там, где это возможно.

Palantir (Foundry) — настройка DQC в workshop, диагностика сбоев сборок и data pipelines Monte Carlo — управление алертами по качеству данных и observability Azure DevOps — управление репозиториями, CI/CD Практические знания данных в сфере управления инвестициями: терминология портфеля (maturity date, value date), жизненный цикл сделки, рыночные данные и данные о рисках; знакомство с доменными системами (Optima, Cardia) Понимание концепций data lineage, observability и операций, управляемых метаданными Опыт работы с платформами данных корпоративного масштаба и инструментами пакетной оркестрации / рабочих процессов с данными