Data Engineer, Foundations

Чтобы достичь наших амбициозных целей, мы ищем Data Engineer в команду Data Foundations, которая поможет нам создать data-платформу мирового уровня. Успех Superhuman зависит от способности эффективно принимать и обрабатывать более 70 миллиардов событий в день для улучшения наших продуктов. Эта роль даёт уникальную возможность поработать над всеми аспектами создания сложных конвейеров данных и систем: участвовать в выработке стратегии, определять архитектуру, разрабатывать решения и выводить их в production.

Команда Data Foundations входит в организацию Data Platform и обеспечивает потребности в данных всего Superhuman, а не отдельного продукта. Она отвечает за базовые наборы данных и модели данных, которые описывают ключевые сущности бизнеса Superhuman и служат строительными блоками для других команд по данным и специалистов по data science в компании. За кулисами команда разрабатывает и запускает крупномасштабные ETL-конвейеры, которые ежедневно обрабатывают петабайты данных и миллиарды событий.

В роли Data Engineer в команде Data Foundations вы будете проектировать и реализовывать надёжные, масштабируемые и отказоустойчивые конвейеры данных и системы, работающие с большими объёмами данных, что поддерживает как функции продуктов, так и принятие решений на основе данных во всей компании. Ваша работа охватит такие области, как ETL-конвейеры данных, data lakes, производительная обработка данных и разработка ETL-фреймворков.

• Проектировать, создавать и вести крупномасштабные конвейеры данных и data lakes (Spark/Databricks), которые принимают и обрабатывают миллиарды событий в день, превращая их в надёжные наборы данных, пригодные для принятия решений.
• Проектировать и реализовывать решения, которые обеспечивают доступность, безопасность и масштабируемость данных на всей платформе и позволяют выполнять как потоковую (real-time), так и пакетную обработку.
• Отвечать за качество, актуальность и надёжность базовых наборов данных, от которых зависят другие команды, с помощью автоматических проверок, мониторинга и оповещений.
• Создавать ETL-фреймворки и инструменты, с помощью которых другие команды по данным и специалисты по data science смогут самостоятельно моделировать ключевые бизнес-сущности в чистые, хорошо задокументированные наборы данных для повторного использования.
• Сотрудничать с продуктовыми командами, back-end-инженерами, ML-инженерами и командой Data Science, чтобы превращать бизнес-вопросы в высокоэффективные data-продукты, лежащие в основе критически важных для бизнеса функций, исследований и экспериментов.
• Работать с руководством над формированием миссии команды и её технической дорожной карты.

• У вас есть более 3 лет опыта работы с живыми production-окружениями, включая высоконагруженные или требующие интенсивной обработки данных процессы, с упором на аптайм и надёжность.
• Вы свободно владеете SQL и Python, имеете глубокий практический опыт работы со Spark и современным lakehouse или облачным хранилищем данных (Databricks, Delta Lake, dbt, Snowflake или аналогичными).
• Вы хорошо знаете паттерны проектирования ETL/ELT, инструменты оркестрации (например, Airflow, dbt или Dagster), фреймворки контроля качества данных и CI/CD для данных с развёртыванием на основе Git.
• У вас есть навыки моделирования данных и проектирования хранилищ данных, а также строгий подход к качеству данных и observability.
• У вас есть практический опыт работы с современными технологиями хранения данных (например, Delta Lake, Snowflake, BigQuery или Redshift).
• Вы чётко общаетесь и хорошо взаимодействуете с разными командами и заинтересованными сторонами, превращая бизнес-потребности в надёжные решения для работы с данными и заслуживающие доверия метрики.
• У вас сильное чувство ответственности: вы отвечаете за создаваемые системы от начала до конца — от стратегии и архитектуры до production и постоянной надёжности.
• У вас развитое чутьё в масштабируемой и очень сложной обработке данных, вы мыслите о проблемах комплексно и повышаете планку мастерства своей команды.
• Вы самостоятельно беретесь за задачи и решаете проблемы, мыслите исходя из первых принципов, расставляете приоритеты между несколькими проектами и чувствуете себя уверенно в динамичной среде, ориентированной на результат.

• У вас есть опыт эксплуатации крупномасштабных распределённых систем, а также опыт в области data engineering и моделирования данных.
• Опыт работы с высокопроизводительными потоковыми системами реального времени (например, Kafka, Flink или Spark Structured Streaming) в масштабе миллиардов событий в день.
• Уверенное владение технологиями data lake и lakehouse (например, Delta Lake, Iceberg или Hudi) и управление облачной инфраструктурой как кодом (например, Terraform).
• Опыт создания self-serve data-продуктов, инструментов или фреймворков, на которые полагаются другие команды.
• Опыт сотрудничества с командами аналитики, data science или машинного обучения в роли стратегического партнёра по данным для вывода данных и моделей в production.

Superhuman предлагает всем членам команды конкурентную оплату труда, а также пакет льгот, включающий, среди прочего, следующее:

• Отличное медицинское обслуживание (включая широкий спектр льгот на медицинские услуги, стоматологию, офтальмологию, психическое здоровье и лечение бесплодия)
• Варианты страхования на случай инвалидности и страхования жизни
• Софинансирование 401(k) и RRSP
• Оплачиваемый декретный отпуск и отпуск по уходу за ребёнком
• 20 дней оплачиваемого отпуска в год, 12 дней оплачиваемых праздничных дней в год, два плавающих выходных дня в год и гибкий больничный
• Щедрые компенсации (в том числе на уход за близкими, уход за домашними животными, благополучие, домашний офис и другое)
• Ежегодный бюджет и возможности для профессионального развития

Superhuman применяет рыночный подход к компенсации, поэтому базовая оплата может отличаться в зависимости от местоположения. Наши локации в США разделены на две зоны компенсации в зависимости от близости к нашим хаб-локациям.

Базовая оплата может значительно различаться в зависимости от связанных с работой знаний, навыков и опыта. Ожидаемые диапазоны зарплаты на эту позицию указаны по зонам компенсации и могут быть изменены в будущем.

В Superhuman мы ценим наши различия и призываем откликаться всех, особенно тех, чья идентичность традиционно недостаточно представлена в технологических организациях. Мы не допускаем дискриминации по признаку расы, религии, цвета кожи, гендерного выражения или идентичности, сексуальной ориентации, происхождения, национальности, гражданства, возраста, семейного положения, статуса ветерана, статуса инвалидности, политических убеждений или любой другой характеристики, защищённой законом. Superhuman является работодателем равных возможностей и участником федеральной программы США E-Verify (США). Мы также соблюдаем Employment Equity Act (Канада).