Data Engineer (Agentic Search)

Мы ищем Data Engineer, который поможет построить и масштабировать платформу данных, лежащую в основе качества поиска, ML‑конвейеров, аналитики продукта и бизнес‑операций. В этой роли вы будете участвовать во всём жизненном цикле данных: собирать данные из производственных систем, проектировать и развивать наш хранилище данных, создавать пакетные и потоковые конвейеры, а также предоставлять высококачественные наборы данных исследователям, инженерам, аналитикам и продуктовым командам компании. Платформа охватывает десятки терабайт и принимает данные из десятков собственных и сторонних источников — включая наш поисковый движок и его компоненты, CRM, биллинг, идентификацию и аналитику продукта в многорегиональных производственных средах. Около 100 внутренних пользователей полагаются на неё ежедневно. Вы будете тесно сотрудничать с инженерами и заинтересованными сторонами по всей компании, участвовать в архитектурных и моделирующих решениях и помогать улучшать надёжность, удобство использования и масштабируемость платформы данных по мере её роста.

• Вносить вклад в проектирование, разработку и эксплуатацию платформы данных Tavily — от ingest в реальном времени через слои medallion в data warehouse до наборов данных и дашбордов, ориентированных на потребителей.
• Создавать и поддерживать надёжные пакетные и потоковые конвейеры, которые собирают данные из производственных сервисов и внешних систем.
• Проектировать и развивать масштабируемые, готовые к аналитике модели данных в data warehouse.
• Тесно сотрудничать с инженерами по всей компании, чтобы гарантировать, что данные, генерируемые производственными системами, надёжны, хорошо структурированы и пригодны для последующего использования.
• Улучшать наблюдаемость всей платформы данных, включая проверки качества данных, мониторинг актуальности, прослеживаемость, эволюцию схем и контроль расходов.
• Сотрудничать с исследователями, инженерами, аналитиками, финансовым отделом и менеджерами продукта для предоставления надёжных наборов данных для продукта, качества поиска, ML и GTM‑аналитики.
• Участвовать в определении объектов, сущностей и связей, представляющих домен поиска Tavily — включая вводы агентов, URLs, chunks, сессии агентов, сканирования и их взаимосвязи — и преобразовывать их в чистые, запросные модели данных.
• Улучшать инженерные практики в области тестирования, документирования, развертывания и реагирования на инциденты.
• Исследовать и устранять проблемы с данными в продакшн, включая сломанные конвейеры, повреждённые наборы данных, изменения схем и масштабные backfill‑ы.
• Вносить вклад в технические стандарты и лучшие практики data engineering по всей компании.
• Помогать поддерживать высокие стандарты качества данных, целостности, безопасности и управления данными во всех средах.

• Иметь более 5 лет опыта в Data Engineering, с сильным опытом проектирования и внедрения масштабируемых, готовых к аналитике моделей данных и облачных хранилищ данных, таких как Snowflake или BigQuery.
• Иметь практический опыт работы с Snowflake или аналогичным облачным хранилищем данных, а также глубокое понимание современной архитектуры data warehouse, желательно включая моделирование в стиле medallion.
• Обладать глубокими знаниями баз данных, включая проектирование схем, оптимизацию запросов и знакомство с кейсами использования NoSQL.
• Иметь значительный опыт работы с современными фреймворками оркестрации и трансформации данных, такими как Airflow и dbt.
• Разбираться в облачных сервисах данных на AWS или GCP и иметь опыт работы с потоковыми платформами, такими как Kafka или Pub/Sub.
• Иметь практический опыт работы с Spark, MapReduce или аналогичными распределёнными системами обработки и понимать, когда распределённая обработка является правильным инструментом.
• Свободно владеть Python и SQL для работы с данными в продакшн.
• Иметь опыт эксплуатации систем данных в продакшн: отлаживать их под давлением, восстанавливать после инцидентов с данными, управлять изменениями схем и выполнять backfill‑ы повреждённых или неполных наборов данных.
• Глубоко заботиться о качестве данных и о том, чтобы наборы данных были понятными и надёжными для их пользователей.
• Чувствовать себя комфортно, решая неоднозначные, кросс‑функциональные задачи с данными и тесно сотрудничая как с техническими, так и с нетехническими заинтересованными сторонами.

• Конкурентоспособная компенсация
• Возможности карьерного роста и обучения
• Гибкость и автономия
• Сотрудничественная и инновационная культура
• Возможность работать над значимыми AI‑проектами
• Международная среда и талантливые команды