Staff Software Engineer (Agentic Search) - Crawler

Мы ищем Staff Software Engineer для работы над инфраструктурой получения контента и краулинга в новой поисковой системе, созданной для использования агентным ИИ.

В этой роли вы будете создавать системы, которые находят, загружают и постоянно обновляют контент из открытого веба и других крупномасштабных источников данных. Вы будете проектировать распределённую инфраструктуру краулинга, планирования и приёма данных, способную работать в масштабах интернета и при этом соблюдать баланс между охватом, актуальностью, эффективностью использования ресурсов и надёжностью. Вы будете работать над системами, которые обрабатывают миллиарды URL, управляют потоками данных с высокой пропускной способностью и обеспечивают стабильную доступность качественного контента для последующих систем индексации и поиска.

• Проектировать, реализовывать и эксплуатировать системы краулинга веб-масштаба для получения контента из интернета

• Создавать процессы приёма данных из внутренних и внешних источников, включая краулеры, структурированные фиды и интеграции с партнёрами

• Разрабатывать планирование краулинга, приоритизацию, политики повторного обхода и стратегии обеспечения актуальности данных

• Создавать системы для обнаружения URL, дедупликации, извлечения контента и оркестрации краулинга

• Обеспечивать надёжную работу инфраструктуры краулинга в условиях высокой пропускной нагрузки

• Определять метрики observability и качества для охвата краулинга, актуальности, пропускной способности и качества контента

• Отслеживать использование ресурсов, потребление пропускной способности сети и стоимость инфраструктуры

• Сотрудничать с командами индексации и ML, чтобы получаемый контент соответствовал требованиям поиска и ранжирования

• Обеспечивать возможность безопасных экспериментов со стратегиями краулинга и политиками получения контента

• 8+ лет опыта создания backend- или распределённых систем

• Глубокая экспертиза в Go или C++

• Опыт работы с крупномасштабными распределёнными системами (10k+ RPS, миллиарды URL, конвейеры с высокой пропускной способностью)

• Понимание веб-протоколов (HTTP, DNS, TLS), краулинга, скрейпинга и извлечения контента

• Опыт эксплуатации продакшен-систем и отладки сбоев в распределённых средах

• Глубокое понимание масштабируемости, отказоустойчивости и управления ресурсами

• Веб-краулинг

• Создание потоковых конвейеров данных и событийно-ориентированных систем

• Kafka, Pulsar, NATS, RabbitMQ или аналогичные платформы обмена сообщениями

• Проектирование распределённых планировщиков, очередей и систем асинхронной обработки

• Spark, Flink, Beam или MapReduce

• Ad tech, социальные сети, поисковые системы или другие крупномасштабные платформы контента

Преимущества и бонусы:

• Конкурентная компенсация

• Карьерный рост и возможности для обучения

• Гибкость и самостоятельность

• Культура сотрудничества и инноваций

• Возможность работать над значимыми проектами в области ИИ

• Международная среда и талантливые команды

В процессе отбора мы проводим интервью с написанием кода.

Заявление о равных возможностях:

Nebius — работодатель, предоставляющий равные возможности. Мы стремимся создавать инклюзивную и разнообразную рабочую среду и обеспечивать равные возможности трудоустройства во всех аспектах занятости. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, родословной, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или её выражения, а также по любому другому признаку, защищённому применимым законодательством.