ML Systems Performance Engineer (MFU)

Откуда можно работать: Офис: Almaty, Казахстан
Занятость: Full-time
из текста вакансии
Релокация и виза: релокация
из текста вакансии
Даты: Опубликована 24.08 · видели у компании с 25.08 по 02.09 · закрыта 02.09
вакансия закрыта, проверки прекращены

Почему в каталоге:Основана выходцами из Восточной Европы, Кавказа и Центральной АзииПодробнее о компании →

Показать оригинал

Описание переведено машинно с английского.

Что предстоит делать

Профилировать сквозные (end-to-end) запуски обучения и выявлять узкие места в вычислениях, памяти, коммуникации, хранении и оркестрации.

Определять, измерять и улучшать MFU, tokens/sec/GPU, эффективность масштабирования, training goodput и время безотказной работы GPU.

Оптимизировать распределённое обучение и стратегии разбиения модели (model-sharding), включая параллелизм данных, тензоров, конвейера, контекста и экспертов.

Повышать эффективность коллективной коммуникации за счёт размещения с учётом топологии и перекрытия вычислений/коммуникаций.

Разрабатывать или интегрировать оптимизированные CUDA и Triton ядра

Оптимизировать загрузку данных, предобработку, упаковку последовательностей и контрольные точки, чтобы I/O не оставляло ускорители бездействующими.

Диагностировать распределённые зависания фтв регрессии производительности.

Повышать отказоустойчивость длительных задач обучения.

Требования

Глубокий опыт запуска и оптимизации обучения на multi-GPU или multi-node.

Опыт работы с PyTorch Distributed или аналогичным фреймворком обучения.

Понимание архитектуры GPU, включая иерархию памяти и Tensor Cores.

Понимание коллективной коммуникации, топологии кластера и узких мест распределённого обучения.

Опыт работы с технологиями распределённого параллелизма, такими как FSDP, DeepSpeed, Megatron-LM, TorchTitan, или аналогичными.

Умение отлаживать сложные проблемы производительности и надёжности на разных уровнях стека обучения.

Будет плюсом

Опыт разработки CUDA, Triton или GPU‑ядра.

Опыт работы с NCCL, MPI, UCX, RDMA, InfiniBand, RoCE, GPUDirect, NVLink или NVSwitch.

Опыт обучения моделей Mixture-of-Experts, мультимодальных или reinforcement‑learning.

Знание внутренностей PyTorch, torch.compile, XLA, компиляторов ML или пользовательских операторов.

Опыт обучения с смешанной точностью, включая BF16, FP8 или FP4.

Условия и бенефиты

Конкурентная базовая зарплата в USD, зависящая от вашего опыта, навыков и объёма роли.
Участие в капитале через программу опционов компании, предоставляющая возможность разделить долгосрочный рост Higgsfield.
Поддержка переезда в Almaty для кандидатов, переезжающих из другого города или страны.
Высококоллаборативная, динамичная среда, где вы можете работать напрямую с опытными лидерами и оказывать значимое влияние на продукт и компанию.
Возможности профессионального роста, ответственности и карьерного развития по мере масштабирования компании.
Оборудование, питание, транспорт и другие офисные льготы, предоставляемые компанией.

О компании Higgsfield AI

Higgsfield AI — компания генеративного видео, основанная в 2023 году Александром Машрабовым (ранее руководил AI-направлением в Snap) и Ерзатом Дулатом. Платформа объединяет несколько моделей и инструменты редактирования в сценарии создания контента: генерация и апскейл видео, изображений и голоса, автоматизация креативных процессов агентом.

Что вакансия рассказывает о компании и команде

Higgsfield AI — самая быстрорастущая компания в истории в сфере генеративного ИИ, достигшая $500M годового дохода, более 25M пользователей по всему миру, более 6M генераций в день и обслуживающая 390 брендов из Fortune 500. Мы работаем на переднем крае создания видео с использованием ИИ и инструментов следующего поколения. Присоединившись к Higgsfield, вы станете частью высокоэффективной команды, формирующей будущее AI‑нативных опытов, в компании, которая не просто движется быстро, а переопределяет, как выглядит скорость.

Что есть у компании

Контакты найма: есть, по подписке

Еще по теме

Навыки

PyTorch DistributedFSDPDeepSpeedMegatron-LMTorchTitanCUDATritonNCCLMPIUCXRDMAInfiniBandRoCEGPUDirectNVLinkNVSwitchTensor CoresBF16FP8FP4

Подходите ли вы под эту вакансию

Сверка вакансии с резюме доступна тем, кто вошел. Войти