Senior Software Engineer (Agentic Search) - Web Access Engineer

Мы ищем Senior Software Engineer для работы над инфраструктурой доступа к вебу в новой поисковой системе, созданной для использования агентным ИИ.

В этой роли вы сосредоточитесь на том, чтобы наш доступ к публичному веб-контенту был надёжным и эффективным. Вы будете исследовать, как современные сайты и браузеры взаимодействуют на всём протяжении жизненного цикла запроса, находить первопричину, когда запрос завершается ошибкой или возвращает неожиданный результат, и внедрять исправления в продакшен-системы, работающие в масштабах интернета. Ваша работа обеспечивает стабильную доступность качественного контента для систем краулинга, индексации и поиска, работающих далее по цепочке.

• Диагностировать неудачные или деградировавшие запросы на нужном уровне: сеть и IP, поведение TLS и HTTP/2, заголовки и состояние сессии, клиентские скрипты или характеристики браузера

• Анализировать, как сайты проверяют и классифицируют клиентов, включая то, как клиентские скрипты и поведение на уровне протоколов влияют на то, что сайт отдаёт разным клиентам

• Создавать клиенты и инструменты, которые ведут себя стабильно и совместимо со стандартными браузерами на всех этих уровнях, используя настоящий браузер там, где лёгкого клиента недостаточно

• Отслеживать качество доступа по мере изменения сайтов: обнаруживать регрессии, находить причину и измерять успех по реальному контенту, а не по кодам статуса

• Создавать инструменты для этого в больших масштабах: захват трафика и сравнение с настоящими браузерами, отслеживание успешности по каждому сайту и методу, а также стоимость каждой успешной загрузки

• Выбирать метод загрузки для каждого хоста, от лёгкого HTTP-клиента до полноценного браузера, соблюдая баланс между качеством и стоимостью

У вас есть опыт создания продакшен-систем от 5 лет, и вы являетесь экспертом в нескольких из следующих областей.

Жизненный цикл запроса

• HTTP/1.1, HTTP/2 и HTTP/3, TLS-рукопожатия и TLS-отпечатки (JA3/JA4), поведение заголовков

• Что сервер может наблюдать на каждом шаге запроса и что клиент контролирует на каждом шаге

• Методичная отладка, а не догадки: воспроизведение захваченного трафика браузера, сравнение с настоящим браузером на том же сетевом пути и изменение одной переменной за раз

Клиентский анализ

• Чтение и анализ сложного или обфусцированного JavaScript, а также наблюдение за тем, что измеряет скрипт, с помощью перехвата (hooking) API браузера

• Как измеряются характеристики браузера, устройства и сети (canvas, шрифты, WebGL, метрики экрана и окна) и насколько они согласованы между уровнями

• Инструментирование браузера и Chrome DevTools Protocol как инструменты для исследования

Работа в реальных условиях

• Вы запускали это в продакшене и можете назвать цифры: количество запросов в день, число сайтов или хостов, а также долю успешных запросов и способ её измерения

• Сильные навыки программирования как минимум на одном из языков: Go, Python, Rust или C++

• Опыт работы в компании-поставщике веб-данных, в браузерной компании или компании в сфере веб-безопасности, либо в компании, которая собирает данные из сложных источников

• Вклад в open-source инструменты, связанные с сетевым взаимодействием браузеров или фингерпринтингом, либо публичные разборы того, как работает проверка клиентов

• Создание или поддержка модифицированного (patched) браузера

• Сети, прокси и репутация IP

• Распределённые системы масштаба интернета, Kubernetes и облачная инфраструктура

Преимущества и бонусы:

• Конкурентная компенсация

• Карьерный рост и возможности обучения

• Гибкость и самостоятельность

• Культура сотрудничества и инноваций

• Возможность работать над значимыми проектами в области ИИ

• Международная среда и талантливые команды

Заявление о равных возможностях:

Nebius — работодатель, предоставляющий равные возможности. Мы стремимся создавать инклюзивную и разнообразную рабочую среду и обеспечивать равные возможности трудоустройства во всех аспектах занятости. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, родословной, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или её выражения, а также по любому другому признаку, защищённому действующим законодательством.