Member of Technical Staff (Search Core, Indexing & Data Pipeline Stream)

Perplexity ищет высококвалифицированного Expert Systems Engineer для присоединения к нашей команде Search Core. Для потока индексации и обработки данных. Эта роль критически важна для создания поисковых продуктов и технологий следующего поколения.

• Проектировать и создавать основные компоненты поискового движка, особенно конвейеры индексации, форматы хранения данных, работающие в масштабе миллиардов страниц
• Разрабатывать потоковую и пакетную обработку данных с использованием YT‑систем для построения поискового индекса в условиях высокой нагрузки
• Расширять границы производительности аппаратного обеспечения через низкоуровневую оптимизацию и настройку на уровне систем
• Решать задачи многопоточности, конкурентности и системной оптимизации
• Проектировать и создавать основные компоненты поискового движка, включая конвейеры индексации, алгоритмы извлечения и системы ранжирования, работающие в масштабе миллиардов страниц
• Разрабатывать системы потоковой и пакетной обработки данных для построения поискового индекса в условиях высокой нагрузки
• Расширять границы производительности аппаратного обеспечения через низкоуровневую оптимизацию и настройку на уровне систем
• Решать задачи многопоточности, конкурентности и системной оптимизации

• 3+ года практического опыта в системном программировании (Rust, C++, C или аналогичные)
• Полный контроль над жизненным циклом проекта: вы не просто пишете быстрый внутренний цикл, вы заботитесь о том, как система построена, развернута, эксплуатируется и масштабируется в продакшене
• Знание Python или других скриптовых языков
• Знание систем обработки данных (YT/Kafka/Hadoop)
• Страсть к написанию чистого, эффективного и масштабируемого кода уровня систем
• Глубокие знания алгоритмов и структур данных, а также умение эффективно их применять
• Глубокое понимание многопоточности, включая различные подходы, проблемы и компромиссы
• Опыт создания высоконагруженных, распределённых и аппаратно‑ориентированных сервисов
• Твердое понимание внутренней архитектуры Linux (системные вызовы, сетевой стек, модель памяти, настройка ядра)
• Знакомство с техниками низкоуровневой оптимизации (управление памятью, эффективность кэша, SIMD, профилирование)

• Опыт разработки основных компонентов поисковых движков, баз данных или систем информационного поиска
• Понимание фундаментальных принципов поиска: индексация, разбор запросов, ранжирование и релевантность
• Опыт работы с торговыми системами или другими системами реального времени, чувствительными к задержкам
• Знакомство с облачными сервисами, Kubernetes и инфраструктурой AWS