Sr. Engineer - Data & ML Platform (Hybrid, IND)

Задача команды Data & ML Platform — использовать все данные, которые поступают и каталогизируются в Data LakeHouse, для исследования, получения инсайтов, разработки моделей, ML Engineering и активации инсайтов. Эта команда находится в более крупной группе Data Platform, которая является одним из основных столпов нашей компании. Мы обрабатываем данные в действительно огромных масштабах.

Наша обработка состоит из различных аспектов, включая события угроз, собираемые через телеметрию, связанные метаданные, а также информацию об ИТ‑активах, контекстную информацию об угрозах на основе дополнительной обработки и т.д. Эти аспекты составляют общую платформу данных, которая в настоящее время превышает 200 PB и поддерживается в гипермасштабном Data Lakehouse, построенном и управляемом командой Data Platform. Механизмы ingest включают как пакетные, так и почти реального времени потоки, формирующие ядро Threat Analytics Platform, используемое для инсайтов, охоты за угрозами, расследований инцидентов и прочего.

Как инженер в этой команде, вы будете играть ключевую роль в построении нашей ML Experimentation Platform с нуля. Вы будете тесно сотрудничать с инженерами программного обеспечения Data Platform, Data Scientists и Threat Analysts, разрабатывая, внедряя и поддерживая масштабируемые ML‑конвейеры, которые будут использоваться для подготовки данных, каталогизации, инженерии признаков, обучения моделей и их обслуживания, влияя на критически важные бизнес‑решения. Вы станете важным участником культуры, ориентированной на производство, которая соединяет разработку моделей и их успешную эксплуатацию. В будущих планах — инвестиции в генеративный AI для таких сценариев, как моделирование путей атак для ИТ‑активов.

Location: Bangalore (Hybrid) Кандидат должен быть готов посещать офис два раза в неделю.

• Помогать проектировать, строить и способствовать внедрению современной платформы Data+ML
• Модульно разбивать сложный ML‑код на стандартизированные и повторяемые компоненты
• Устанавливать и способствовать внедрению повторяемых шаблонов для разработки, развертывания и мониторинга моделей
• Создавать платформу, масштабируемую до тысяч пользователей и предоставляющую возможность самостоятельного создания конвейеров ML‑экспериментов
• Использовать инструменты оркестрации рабочих процессов для эффективного и масштабируемого выполнения сложных данных и ML‑конвейеров
• Проводить ревью кода от data scientists и продвигать лучшие практики разработки программного обеспечения
• Использовать облачные сервисы, такие как Kubernetes, blob storage и очереди, в нашей облачно‑ориентированной среде

• B.S. в области Computer Science, Data Science, Statistics, Applied Mathematics или смежной области и более 10 лет соответствующего опыта; либо M.S. с более 8 лет опыта; либо Ph.D. с более 6 лет опыта.
• Более 3 лет опыта разработки и внедрения решений машинного обучения в продакшн. Знакомство с типичными алгоритмами машинного обучения с инженерной точки зрения (как они строятся и используются, не обязательно с теоретической стороны); знакомство с подходами supervised / unsupervised: как, почему, когда и как создаются и используются размеченные данные.
• Более 3 лет опыта работы с инструментами ML Platform, такими как Jupyter Notebooks, NVidia Workbench, MLFlow, Ray, Vertex AI и др.
• Опыт создания продукта(ов) или функций платформы данных с использованием (одного из) Apache Spark, Flink или сопоставимых инструментов в GCP. Опыт работы с Iceberg крайне желателен.
• Владение распределёнными вычислениями и технологиями оркестрации (Kubernetes, Airflow и др.)
• Опыт продакшн‑использования инфраструктурных инструментов как код, таких как Terraform, FluxCD
• Экспертный уровень владения Python; рекомендуется опыт с Java/Scala. Умение писать Python‑интерфейсы, предоставляющие стандартизированные и упрощённые интерфейсы для data scientists для использования внутренних инструментов Crowdstrike.
• Экспертный уровень работы с CI/CD фреймворками, такими как GitHub Actions
• Экспертный уровень работы с контейнеризационными фреймворками
• Сильные аналитические и проблемно‑решающие навыки, способность работать в динамичной среде
• Исключительные межличностные и коммуникативные навыки. Работа с заинтересованными сторонами из разных команд и синтез их потребностей в программные интерфейсы и процессы.
• Доказанный опыт использования AI‑технологий для улучшения принятия решений, оптимизации рабочих процессов и повышения эффективности, приводящий к бизнес‑результатам.
• Знания распределённых систем
• Опыт работы с Data Platform
• Понимание концепций машинного обучения

• Go
• Iceberg
• Pinot или другая база данных в стиле time‑series/OLAP
• Jenkins
• Parquet
• Protocol Buffers/GRPC

• Лидер рынка в области компенсаций и акций
• Всеобъемлющие программы физического и психического благополучия
• Конкурентный отпуск и праздничные дни для восстановления сил
• Оплачиваемый декретный и отпуск по усыновлению
• Возможности профессионального развития для всех сотрудников независимо от уровня или роли
• Сети сотрудников, группы по географическому принципу и возможности волонтёрства для налаживания связей
• Яркая офисная культура с мировыми удобствами
• Сертификат Great Place to Work™ по всему миру