Staff / Senior Software Engineer (Agentic Search) - Crawler

Мы ищем Senior Software Engineer для работы над инфраструктурой получения контента и обхода (crawling) нового поискового движка, адаптированного для потребления агентного AI.

В этой роли вы будете сосредоточены на построении систем, которые обнаруживают, извлекают и постоянно обновляют контент из открытого интернета и других крупномасштабных источников данных. Вы будете проектировать распределённую инфраструктуру обхода, планирования и загрузки, способную работать в масштабе интернета, одновременно обеспечивая покрытие, актуальность, эффективность использования ресурсов и надёжность. Вы будете работать с системами, обрабатывающими миллиарды URL, управляющими потоками данных с высокой пропускной способностью и гарантировать, что высококачественный контент постоянно доступен для последующих систем индексации и поиска.

• Проектировать, реализовывать и эксплуатировать веб‑масштабные системы обхода для получения контента из интернета
• Создавать рабочие процессы загрузки для внутренних и внешних источников данных, включая обходчики, структурированные каналы и интеграции с партнёрами
• Разрабатывать планирование обхода, приоритизацию, политики повторного обхода и стратегии актуальности
• Создавать системы обнаружения URL, дедупликации, извлечения контента и оркестрации обхода
• Обеспечивать надёжную работу инфраструктуры обхода при высоких нагрузках
• Определять метрики наблюдаемости и качества для покрытия обхода, актуальности, пропускной способности и качества контента
• Мониторить использование ресурсов, потребление пропускной способности и стоимость инфраструктуры
• Сотрудничать с командами индексации и ML, чтобы гарантировать, что полученный контент соответствует требованиям поиска и ранжирования
• Обеспечивать безопасные эксперименты со стратегиями обхода и политиками получения контента

• 5+ лет опыта разработки backend или распределённых систем
• Глубокие знания Go или C++
• Опыт работы с крупномасштабными распределёнными системами (10k+ RPS, миллиарды URL, конвейеры с высокой пропускной способностью)
• Понимание веб‑протоколов (HTTP, DNS, TLS), обхода, скрапинга и извлечения контента
• Опыт эксплуатации продакшн‑систем и отладки сбоев в распределённых средах
• Глубокое понимание масштабируемости, отказоустойчивости и управления ресурсами

• Веб‑обход
• Создание потоковых конвейеров данных и событийно‑ориентированных систем
• Kafka, Pulsar, NATS, RabbitMQ или аналогичные платформы обмена сообщениями
• Проектирование распределённых планировщиков, очередей и асинхронных систем обработки
• Spark, Flink, Beam или MapReduce
• Ad tech, социальные сети, поисковые системы или другие крупномасштабные контент‑платформы

• Конкурентоспособная компенсация
• Возможности карьерного роста и обучения
• Гибкость и автономия
• Сотрудничественная и инновационная культура
• Возможность работать над значимыми AI‑проектами
• Международная среда и талантливые команды

Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и предоставлению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам нужны специальные условия во время процесса подачи заявки, пожалуйста, дайте нам знать.