Senior Software Engineer (Agentic Search) - Web Access Engineer

Мы ищем Senior Software Engineer для работы над инфраструктурой доступа к вебу в новой поисковой системе, ориентированной на использование агентным ИИ.

В этой роли вы будете заниматься тем, чтобы наш доступ к публичному веб-контенту был надёжным и эффективным. Вы будете исследовать, как современные сайты и браузеры взаимодействуют на протяжении всего жизненного цикла запроса, находить первопричину, когда запрос завершается ошибкой или возвращает неожиданный результат, и внедрять исправления в продакшен-системы, работающие в масштабах интернета. Ваша работа обеспечивает стабильную доступность качественного контента для систем краулинга, индексации и поиска, которые работают дальше по цепочке.

• Диагностировать неудачные или деградировавшие запросы на нужном уровне: сеть и IP, поведение TLS и HTTP/2, заголовки и состояние сессии, клиентские скрипты или характеристики браузера

• Анализировать, как сайты проверяют и классифицируют клиентов, в том числе как клиентские скрипты и поведение на уровне протоколов влияют на то, что сайт отдаёт разным клиентам

• Создавать клиенты и инструменты, которые ведут себя стабильно и совместимо со стандартными браузерами на всех перечисленных уровнях, используя настоящий браузер там, где лёгкого клиента недостаточно

• Отслеживать качество доступа по мере изменения сайтов: выявлять регрессии, находить причину и измерять успешность по реальному контенту, а не по кодам статуса

• Создавать инструменты для работы в масштабе: перехват трафика и сравнение с реальными браузерами, отслеживание успешности по каждому сайту и методу, а также стоимость каждого успешного запроса

• Выбирать метод получения данных для каждого хоста — от лёгкого HTTP-клиента до полноценного браузера, — балансируя между качеством и стоимостью

У вас есть 5+ лет опыта создания продакшен-систем, и вы эксперт в нескольких из следующих областей.

Жизненный цикл запроса

• HTTP/1.1, HTTP/2 и HTTP/3, TLS-хендшейки и TLS-отпечатки (JA3/JA4), поведение заголовков

• Что сервер может наблюдать на каждом шаге запроса и что контролирует клиент на каждом шаге

• Метод отладки, а не догадки: воспроизведение перехваченного трафика браузера, сравнение с реальным браузером на том же сетевом пути и изменение одной переменной за раз

Клиентский анализ

• Чтение и анализ сложного или обфусцированного JavaScript, а также наблюдение за тем, что измеряет скрипт, с помощью перехвата (hooking) API браузера

• Как измеряются характеристики браузера, устройства и сети (canvas, шрифты, WebGL, метрики экрана и окна) и насколько они согласованы между уровнями

• Инструментирование браузера и Chrome DevTools Protocol как инструменты исследования

Работа в реальных условиях

• Вы запускали это в продакшене и можете назвать цифры: количество запросов в день, сайтов или хостов, а также уровень успешности и то, как вы его измеряли

• Сильные навыки программирования как минимум на одном из языков: Go, Python, Rust или C++

• Опыт работы в компании-поставщике веб-данных, в компании, занимающейся браузерами или веб-безопасностью, либо в компании, которая собирает данные из сложных источников

• Вклад в open-source инструменты, связанные с сетевым взаимодействием браузеров или фингерпринтингом, либо публичные разборы того, как работает проверка клиентов

• Создание или поддержка пропатченного браузера

• Сети, прокси и репутация IP

• Распределённые системы масштаба интернета, Kubernetes и облачная инфраструктура

• Конкурентная компенсация

• Карьерный рост и возможности для обучения

• Гибкость и самостоятельность

• Культура сотрудничества и инноваций

• Возможность работать над значимыми проектами в области ИИ

• Международная среда и талантливые команды

Заявление о равных возможностях:

Nebius — работодатель, предоставляющий равные возможности. Мы стремимся создавать инклюзивную и разнообразную рабочую среду и обеспечивать равные возможности трудоустройства во всех аспектах занятости. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, родословной, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или её выражения, а также по любому другому признаку, защищённому применимым законодательством.