Staff / Senior Software Engineer (Agentic Search) - Crawler

Роль

Мы ищем Senior Software Engineer для работы над инфраструктурой получения контента и краулинга нового поискового движка, адаптированного для потребления агентным AI.

В этой роли вы будете сосредоточены на построении систем, которые обнаруживают, извлекают и постоянно обновляют контент из открытого интернета и других масштабных источников данных. Вы будете проектировать распределённый краулинг, планирование и инфраструктуру ingest‑процессов, способную работать в масштабах интернета, балансируя покрытие, актуальность, эффективность использования ресурсов и надёжность. Вы будете работать с системами, обрабатывающими миллиарды URL, управляющими потоками данных с высокой пропускной способностью и обеспечивающими постоянную доступность высококачественного контента для downstream‑систем индексации и поиска.

• Проектировать, реализовывать и эксплуатировать веб‑масштабные системы краулинга для получения контента из интернета

• Создавать workflow‑ы ingest‑процессов для внутренних и внешних источников данных, включая краулеры, структурированные фиды и интеграции с партнёрами

• Разрабатывать планирование краулинга, приоритизацию, политики повторного краулинга и стратегии актуальности

• Создавать системы для обнаружения URL, дедупликации, извлечения контента и оркестрации краулинга

• Обеспечивать надёжную работу инфраструктуры краулинга при условиях высокой пропускной способности

• Определять метрики наблюдаемости и качества для покрытия краулинга, актуальности, пропускной способности и качества контента

• Мониторить использование ресурсов, потребление пропускной способности и стоимость инфраструктуры

• Сотрудничать с командами индексации и ML, чтобы гарантировать, что полученный контент соответствует требованиям к поиску и ранжированию

• Обеспечивать безопасные эксперименты со стратегиями краулинга и политиками получения контента

• 5+ лет опыта разработки backend‑ или распределённых систем

• Глубокие знания Go или C++

• Опыт работы с крупномасштабными распределёнными системами (10k+ RPS, миллиарды URL, конвейеры с высокой пропускной способностью)

• Понимание веб‑протоколов (HTTP, DNS, TLS), краулинга, скрапинга и извлечения контента

• Опыт эксплуатации production‑систем и отладки сбоев в распределённых средах

• Глубокое понимание масштабируемости, отказоустойчивости и управления ресурсами

• Веб‑краулинг

• Создание потоковых конвейеров данных и событийно‑ориентированных систем

• Kafka, Pulsar, NATS, RabbitMQ или аналогичные платформы обмена сообщениями

• Проектирование распределённых планировщиков, очередей и асинхронных систем обработки

• Spark, Flink, Beam или MapReduce

• Ad tech, социальные сети, поисковые движки или другие крупномасштабные контент‑платформы

• Конкурентоспособная компенсация

• Возможности карьерного роста и обучения

• Гибкость и владение задачами

• Сотрудничественная и инновационная культура

• Возможность работать над значимыми AI‑проектами

• Международная среда и талантливые команды

• Быстрое развитие — смелое мышление — постоянный рост — значимый вклад — доверие и реальное владение — возможность формировать будущее AI

• Nebius является работодателем, предоставляющим равные возможности. Мы привержены созданию инклюзивного и разнообразного рабочего места и предоставлению равных возможностей трудоустройства во всех аспектах занятости. Мы не дискриминируем по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, ancestry, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любого другого признака, защищённого применимым законодательством.

Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство в качестве условия найма.

Если вам нужны какие‑либо приспособления в процессе подачи заявки, пожалуйста, дайте нам знать.