Lead ML Engineer - LLM Inference & NLP

Мы ищем Lead ML Engineer -LLM Inference & NLP.

Ваши основные задачи будут:

• Ускорить и масштабировать инференс LLM в продакшене: SGLang, KV и кэширование префиксов, батчинг, квантизация, спекулятивное декодирование

• Запускать распределённый инференс для очень больших моделей (до 1T+ параметров) на мног GPU и многузловых конфигурациях

• Тестировать новые GPU‑серверы и оборудование, вводить их в продакшен и адаптировать наш код сервиса под них

• Технически руководить командами NLP и CV: оценивать эксперименты, задавать направление и вмешиваться на ранних этапах, если что‑то идёт не так

• Обучать и донастраивать языковые модели, улучшать агентские обёртки и чат‑алгоритм, работающие на них

• Отслеживать передовые исследования и открытый код в области инференса и пост‑тренинга, превращать их в дорожную карту ML

• Тесно сотрудничать с командами валидации, контента и подготовки наборов данных для проектирования экспериментов и измерения качества модели

• Глубокий практический опыт оптимизации инференса LLM в продакшене с SGLang, vLLM или TensorRT-LLM

• Опыт распределённого инференса или обучения больших моделей: MoE, тензорный/экспертный/конвейерный параллелизм, многоузловые GPU‑кластеры

• Твёрдое понимание того, что делает инференс быстрым: KV‑кеш, ядра внимания, батчинг, квантизация, профилирование GPU

• Опыт обучения и донастройки LLM, включая пост‑тренинг (RLHF, DPO или аналогичные)

• Доказанное техническое лидерство: вы руководили инженерами через ревью, наставничество и технические решения, при этом сами продолжали писать код

• Владение PyTorch, transformers и сопутствующими библиотеками

• Опыт работы в AI‑ориентированных стартапах или компаниях (Character AI, OpenAI и аналогичные являются сильным плюсом)

• Опыт бэкенд‑разработки (Python, Go, C#) и знание масштабируемых систем развертывания — значительное преимущество

• Продвинутый английский или русский

• Разработка CUDA или Triton‑ядер

• Опыт в компьютерном зрении. Мы также приветствуем сильных лидеров CV, которые ускоряли крупные генеративные модели изображений или видео

• Опыт работы с мультимодальными LLM

• Научные статьи в качестве первого автора или заметный открытый код, например вклад в SGLang, vLLM или библиотеки пост‑тренинга

• Степень в области CS, математики или физики из сильной программы (MSc или PhD)

• REMOTE OPPORTUNITY работать полный рабочий день;
• Уровень начальной оплаты или диапазон оплаты для этой роли будет сообщён кандидатам в процессе рекрутинга и до начала трудоустройства;
• Отпуск 28 календарных дней в год;
• 7 дней оздоровления в год (отпуск), которые можно использовать для решения бытовых вопросов, отдыха без использования больничного;
• Бонусы до $5000 за рекомендацию успешных соискателей на позиции в компании;
• 50% оплаты профессионального обучения, международных конференций и встреч;
• Корпоративная скидка на уроки английского;
• Медицинские льготы. Согласно расчётным листам, если вы не имеете права на корпоративную медицинскую страховку, компания компенсирует вам до $1 000 брутто в год на сотрудника. Эти средства можно потратить на самостоятельную покупку медицинской страховки или на оплату врачебных услуг для себя и близких родственников (супруга, дети);
• Организация рабочего места. Компания предоставляет всем сотрудникам оборудованное рабочее место и всё необходимое оборудование (стол, кресло, wifi и т.д.) в наших офисах или коворкингах. В остальных локациях компания возмещает расходы на рабочее место до $1000 брутто раз в 3 года, согласно расчётным листам. Эти деньги можно потратить на аренду коворкинг‑комнаты, на обустройство рабочего места дома (стол, стул, интернет и т.д.) в течение этих 3 лет;
• Внутренняя геймифицированная система благодарности: получайте бонусы от коллег и обменивайте их на нашу продукцию, командные мероприятия, сертификаты на массаж и т.п.

Звучит привлекательно? Присоединяйтесь к нам сейчас!