Staff Software Engineer (Agentic Search) - Crawler

Мы ищем Staff Software Engineer для работы над инфраструктурой получения контента и краулинга в новой поисковой системе, ориентированной на использование агентным AI.

В этой роли вы будете создавать системы, которые находят, загружают и постоянно обновляют контент из открытого интернета и других крупномасштабных источников данных. Вы будете проектировать распределённую инфраструктуру краулинга, планирования и загрузки данных, способную работать в масштабах интернета и при этом обеспечивать баланс между охватом, актуальностью, эффективным использованием ресурсов и надёжностью. Вы будете работать над системами, которые обрабатывают миллиарды URL, управляют потоками данных с высокой пропускной способностью и обеспечивают стабильную доступность качественного контента для последующих систем индексации и поиска.

• Проектировать, реализовывать и эксплуатировать системы краулинга веб-масштаба для получения контента из интернета

• Создавать процессы загрузки данных из внутренних и внешних источников, включая краулеры, структурированные фиды и интеграции с партнёрами

• Разрабатывать планирование краулинга, приоритизацию, политики повторного обхода и стратегии обеспечения актуальности

• Создавать системы для обнаружения URL, дедупликации, извлечения контента и оркестрации краулинга

• Обеспечивать надёжную работу инфраструктуры краулинга в условиях высокой пропускной способности

• Определять метрики наблюдаемости и качества для охвата краулинга, актуальности, пропускной способности и качества контента

• Отслеживать использование ресурсов, потребление пропускной способности сети и стоимость инфраструктуры

• Взаимодействовать с командами индексации и ML, чтобы полученный контент соответствовал требованиям поиска и ранжирования

• Обеспечивать возможность безопасных экспериментов со стратегиями краулинга и политиками получения контента

• 8+ лет опыта разработки backend-систем или распределённых систем

• Глубокая экспертиза в Go или C++

• Опыт работы с крупномасштабными распределёнными системами (10k+ RPS, миллиарды URL, конвейеры с высокой пропускной способностью)

• Понимание веб-протоколов (HTTP, DNS, TLS), краулинга, скрапинга и извлечения контента

• Опыт эксплуатации production-систем и отладки сбоев в распределённых средах

• Глубокое понимание масштабируемости, отказоустойчивости и управления ресурсами

• Веб-краулинг

• Создание потоковых конвейеров данных и событийно-ориентированных систем

• Kafka, Pulsar, NATS, RabbitMQ или аналогичные платформы обмена сообщениями

• Проектирование распределённых планировщиков, очередей и систем асинхронной обработки

• Spark, Flink, Beam или MapReduce

• Ad tech, социальные сети, поисковые системы или другие крупномасштабные контентные платформы

Преимущества и бонусы:

• Конкурентная компенсация

• Карьерный рост и возможности для обучения

• Гибкость и самостоятельность

• Культура сотрудничества и инноваций

• Возможность работать над значимыми AI-проектами

• Международная среда и талантливые команды

Заявление о равных возможностях:

Nebius является работодателем равных возможностей. Мы стремимся создавать инклюзивную и разнообразную рабочую среду и обеспечивать равные возможности трудоустройства во всех аспектах занятости. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, родословной, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или её выражения, а также любых других характеристик, защищённых применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которую они подают заявку, и обязаны будут предоставить подтверждение права на трудоустройство как условие приёма на работу.