Senior Research Engineer (Agentic Behavior)

Команда Kotlin AI Value Stream отвечает за то, как AI‑агенты понимают, генерируют и улучшают код Kotlin на всех платформах: Android, Kotlin Multiplatform, серверной, веб, десктопной и других. Мы создаём инфраструктуру оценки, инструменты анализа ошибок и пост‑тренировочные конвейеры, которые измеряют и улучшают поведение агентов на реальных задачах разработчиков Kotlin.

В роли Research Engineer в этой команде вы будете отвечать за весь цикл: анализировать, как агенты ошибаются в Kotlin → создавать оценки, фиксирующие эти ошибки → исследовать и внедрять методы их исправления → измерять улучшения. Ваша работа напрямую сформирует опыт миллионов разработчиков, использующих Kotlin через AI‑coding agents.

• Создавать инструменты для анализа ошибок агентов
• Разрабатывать и внедрять инструменты для систематического захвата, классификации и анализа ошибок, которые AI‑coding agents совершают при генерации кода Kotlin.
• Создавать конвейеры наблюдаемости над трассами агентов — извлекать шаблоны из сессий агентов в JetBrains IDEs, Junie, Claude Code, Cursor и других coding agents.

• Создавать конвейеры оценки
• Проектировать, реализовывать и поддерживать конвейеры оценки, измеряющие качество генерации кода Kotlin по различным измерениям, включая корректность, идиоматичность, успешность сборки, использование фреймворков и покрытие тестами.
• Создавать симуляционные среды, в которых coding agents могут измеряться на реалистичных задачах разработчиков Kotlin — от новых KMP‑проектов и управления зависимостями Gradle до миграции Spring‑приложений с Java на Kotlin.
• Отвечать за инфраструктуру оценки: метрики, отслеживание экспериментов, автоматические проверки регрессий и воспроизводимое бенчмаркинг.

• Исследовать методы улучшения поведения агентов и моделей на Kotlin
• Экспериментировать с пост‑тренировочными техниками (SFT, DPO, GRPO) для улучшения того, как модели обрабатывают специфические для Kotlin паттерны, идиомы и фреймворки.
• Исследовать подходы контекстного инженеринга: файлы CLAUDE.md/AGENTS.md, обратные связи compiler‑as‑verifier, интеграцию Kotlin LSP и инструменты на основе MCP.
• Проводить эксперименты для измерения воздействия: A/B‑сравнения, наборы бенчмарков и анализы «до/после» на реальных кодовых базах.
• Сотрудничать с поставщиками моделей (Anthropic, OpenAI и Google) для преобразования результатов, специфичных для Kotlin, в улучшения моделей.

• Создавать публичные бенчмарки Kotlin
• Проектировать и создавать open‑source бенчмарки, измеряющие производительность AI‑coding agents по задачам Kotlin и в конечном итоге становящиеся стандартным справочником для экосистемы.
• Создавать наборы задач, охватывающие весь спектр использования Kotlin: серверная часть (Spring, Ktor), мультиплатформенные проекты (KMP), системы сборки (Gradle), Android, разработка библиотек и др.
• Включать как извлечённые из реального мира задачи, так и тщательно разработанные синтетические задачи, проверяющие конкретные возможности Kotlin.
• Поддерживать и развивать бенчмарки по мере улучшения моделей, гарантируя, что они остаются сложными, актуальными и устойчивыми к загрязнению.

• Практический опыт создания конвейеров оценки или анализа для LLMs или AI‑coding agents в исследовательской или производственной среде.
• Сильные навыки разработки на Python (не менее трёх лет), с умением писать чистый, поддерживаемый код в данных‑интенсивных и ML‑ориентированных проектах.
• Опыт масштабного анализа данных: запросы к большим наборам данных (SQL/Athena), построение конвейеров данных и проведение статистического анализа экспериментальных результатов.
• Способность полностью владеть проектами от начала до конца — от выявления проблемы в трассах агентов до разработки оценки, проведения экспериментов и выпуска исправления.
• Продуктово‑ориентированное мышление: вам важно, как агенты действительно используются разработчиками, и вы умеете преобразовывать реальные режимы отказов в задачи оценки и обучения.
• Знакомство с Kotlin или сильное желание развить глубокую экспертизу в Kotlin (вы будете ежедневно работать с кодовой базой Kotlin).

• Пост‑тренировочные LLMs: SFT, RLHF, DPO, GRPO — как практический опыт обучения, так и проектирование конвейеров данных и наград, которые подаются в обучение.
• Современные фреймворки глубокого обучения (PyTorch) и стеки обучения LLM (TRL, verl, Megatron или аналогичные).
• Разработка AI‑агентов: агенты, использующие инструменты, многошаговые рабочие процессы кодирования, агентные фреймворки.
• Фреймворки и инструменты оценки: Inspect AI, Promptfoo, LM‑evaluation‑harness или кастомные конвейеры оценки.
• Отслеживание экспериментов и наблюдаемость: Weights & Biases, MLflow, Langfuse или аналогичные.
• Экосистема Kotlin: Android, Gradle, KMP, Spring, Ktor — с пониманием рабочих процессов разработчиков, которые должны поддерживать агенты.
• Участие в open‑source проектах или их поддержка, особенно бенчмарков или инструментов оценки.

• Высокая базовая зарплата. Мы предлагаем конкурентоспособную оплату, отражающую ваши навыки и опыт.
• Гибкое место работы. Наслаждайтесь свободой работать из дома или из офиса.
• Удалённая работа. До 30 дней в году можете работать удалённо из-за границы.
• Дополнительный отпуск. Больше дней для отдыха, восстановления и занятий любимыми делами.
• Пособие на медицинскую страховку. Обеспечьте спокойствие для себя и своей семьи.
• Возможности обучения и развития. Доступ к конференциям, курсам и языковым занятиям.
• Поддержка переезда. Мы помогаем сделать ваш переезд максимально гладким и без стресса.
• Языковые занятия. Освойте местный язык или улучшите навыки английского.
• Подзарядка дня. Наслаждайтесь горячим блюдом или получайте пособие на обед в рабочие дни.
• Поддержка психического здоровья. Чтобы вы чувствовали себя лучше, мы предоставляем простой доступ к профессиональным услугам в области психического здоровья.
• Спортивные льготы. Пользуйтесь спортзалом на территории или получайте субсидию на спортивный клуб.
• Внутренние мероприятия. Присоединяйтесь к корпоративным праздникам и командным встречам.

Некоторые льготы могут различаться в зависимости от местоположения.

#LI‑KP1

Мы являемся работодателем, предоставляющим равные возможности

Мы знаем, что великие идеи могут появиться у любого человека, где бы он ни находился. Поэтому мы делаем всё возможное, чтобы создать открытое и инклюзивное рабочее место — место, которое приветствует всех независимо от их происхождения, идентичности, религии, возраста, потребностей в доступности или ориентации.

Мы обрабатываем данные, предоставленные в вашей заявке, в соответствии с Политикой конфиденциальности при наборе персонала.