Freelance Senior Software Engineer | AI Evaluation

Мы создаём набор данных для оценки AI‑агентов‑программирования — насколько хорошо модель справляется с реальными задачами разработчиков. По сути, мы создаём олимпиаду для моделей ИИ: чем лучше задачи, тем точнее мы видим, где модели слабы, и тем быстрее они улучшаются.

• Вы создаёте задачи и критерии их оценки. Каждая задача состоит из:
• Изолированной среды — эмуляции рабочей станции разработчика: Linux‑машины с инструментами разработки (терминал, CLI), серверов MCP (репозиторий, трекер задач, мессенджер, документация и т.д.) и реального кода веб‑приложения;
• Задачи — подсказки, как в реальной работе (ссылка на тикет, разговор в мессенджере, что угодно). Агент решает её самостоятельно — читает тикет, проверяет обсуждения, ищет документацию, исследует код. Весь этот контекст также является частью задачи и должен быть создан и продуман;
• Тестов и критериев оценки — как проверить, что агент решил задачу правильно.

• Создание виртуальной компании — следуя высокоуровневому плану, вы создаёте компанию: кодовую базу, инфраструктуру, контекст (разговоры, документацию, тикеты). Результат — реалистичная среда с историей разработки.
• Сборка и калибровка задач — из промежуточных состояний компании собираются черновики задач (на основе таксономии). Вы превращаете черновик в полную задачу: пишете подсказку, определяете критерии оценки, обеспечиваете решаемость задачи и справедливость оценки.
• Итерации с AI‑агентом над тестами — они должны выявлять реальные проблемы, не пропускать плохие решения и не ломаться на хороших;
• Ревью кода, написанного агентами;
• Анализ причин успеха или неудачи агента;
• Проектирование граничных случаев и атакующих сценариев.

• Сильный опыт разработки программного обеспечения: 8+ лет в любом современном языке программирования, с готовностью и способностью работать преимущественно с Python в наших проектах;
• Практический опыт использования кодирующих агентов, таких как Claude Code и Codex, в рамках реальных инженерных процессов, при этом сохраняя ответственность за архитектуру, корректность, качество кода и поставку;
• Умение решать проблемы и ясность мышления;
• Способность объяснять технические решения и обоснования;
• Практическое понимание Docker и процессов разработки;
• Общая готовность вносить вклад в техническую, ориентированную на исполнение роль.

• Фриланс‑сотрудничество через платформу Ontop.
• Гибкий полностью удалённый график (40 часов в неделю).
• Вы получите возможность работать над высокоинновационными проектами на переднем крае развития ИИ, вместе с действительно преданной и динамичной командой экспертов.
• Вы также будете работать над проектами с клиентами, являющимися лидерами AI‑индустрии и известными брендами.
• Дружелюбное сообщество.