Staff Software Engineer (Agentic Search) - Crawler

О роли

Мы ищем Staff Software Engineer для работы над инфраструктурой получения контента и краулинга в новой поисковой системе, созданной для использования агентным ИИ.

В этой роли вы будете заниматься созданием систем, которые находят, загружают и непрерывно обновляют контент из открытого интернета и других крупномасштабных источников данных. Вы будете проектировать распределённую инфраструктуру краулинга, планирования и приёма данных, способную работать в масштабах интернета и при этом соблюдающую баланс между охватом, свежестью, эффективностью использования ресурсов и надёжностью. Вы будете работать над системами, которые обрабатывают миллиарды URL, управляют потоками данных с высокой пропускной способностью и обеспечивают постоянную доступность качественного контента для последующих систем индексации и поиска.

На этой позиции вы будете:

• Проектировать, реализовывать и эксплуатировать системы краулинга веб-масштаба для получения контента из интернета

• Создавать процессы приёма данных из внутренних и внешних источников, включая краулеры, структурированные фиды и интеграции с партнёрами

• Разрабатывать планирование краулинга, приоритизацию, политики повторного обхода и стратегии обеспечения свежести данных

• Создавать системы для обнаружения URL, дедупликации, извлечения контента и оркестрации краулинга

• Обеспечивать надёжную работу инфраструктуры краулинга в условиях высокой пропускной способности

• Определять метрики наблюдаемости и качества для охвата краулинга, свежести, пропускной способности и качества контента

• Отслеживать использование ресурсов, потребление пропускной способности сети и стоимость инфраструктуры

• Сотрудничать с командами индексации и ML, чтобы получаемый контент соответствовал требованиям поиска и ранжирования

• Обеспечивать безопасное экспериментирование со стратегиями краулинга и политиками получения контента

Вы можете нам подойти, если у вас:

• 8+ лет опыта создания бэкенд-систем или распределённых систем

• Глубокая экспертиза в Go или C++

• Опыт работы с крупномасштабными распределёнными системами (10k+ RPS, миллиарды URL, конвейеры с высокой пропускной способностью)

• Понимание веб-протоколов (HTTP, DNS, TLS), краулинга, скрейпинга и извлечения контента

• Опыт эксплуатации продакшен-систем и отладки сбоев в распределённых средах

• Глубокое понимание масштабируемости, отказоустойчивости и управления ресурсами

Сильные кандидаты также могут иметь опыт работы с:

• Веб-краулингом

• Созданием потоковых конвейеров данных и событийно-ориентированных систем

• Kafka, Pulsar, NATS, RabbitMQ или аналогичными платформами обмена сообщениями

• Проектированием распределённых планировщиков, очередей и систем асинхронной обработки

• Spark, Flink, Beam или MapReduce

• Ad tech, социальными сетями, поисковыми системами или другими крупномасштабными контентными платформами

Условия и преимущества:

• Конкурентная компенсация

• Карьерный рост и возможности для обучения

• Гибкость и самостоятельность

• Культура сотрудничества и инноваций

• Возможность работать над значимыми проектами в области ИИ

• Международная среда и талантливые команды

В рамках процесса отбора мы проводим интервью с написанием кода.

Заявление о равных возможностях:

Nebius — работодатель равных возможностей. Мы стремимся создавать инклюзивную и разнообразную рабочую среду и обеспечивать равные возможности трудоустройства во всех аспектах занятости. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, происхождения предков, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или её выражения, а также по любому другому признаку, защищённому действующим законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и в качестве условия приёма на работу должны будут предоставить подтверждение права на трудоустройство.

Если вам нужны особые условия в процессе подачи заявки, пожалуйста, сообщите нам.