Intellias

Intellias ищет Senior Data Engineer для присоединения к инициативе в сфере цифрового здравоохранения, направленной на создание масштабной платформы медицинских данных, которая помогает миллионам людей находить поставщиков медицинских услуг, получать доступ к своей медицинской информации и принимать более обоснованные решения в отношении лечения.

Это практическая роль с высокой степенью ответственности для специалиста с опытом создания и эксплуатации интенсивных по данным систем в масштабе. Вы будете отвечать за критически важные функции загрузки и обработки данных, повышать качество и надёжность данных, а также разрабатывать решения на основе AI для сложных реальных задач в области медицинских данных.

Мы ищем инженера, который сочетает сильную экспертизу в Python и data engineering с cloud-native разработкой, ответственностью за продакшн и подходом, ориентированным на AI (AI-first engineering mindset).

Проект заключается в создании платформы медицинских данных на основе FHIR, которая агрегирует информацию о поставщиках медицинских услуг из национальных реестров, систем EHR, медицинских сетей и партнёрских источников данных.

Платформа принимает фрагментированные и часто противоречивые медицинские данные, преобразует их в стандартизированные ресурсы FHIR, устраняет дублирующиеся идентичности и связи и предоставляет достоверную информацию о поставщиках медицинских услуг через высокомасштабируемые сервисы поиска и обработки данных.

Инженерная задача выходит далеко за рамки традиционного ETL. Данные о поставщиках поступают из сотен разнородных источников и содержат дубликаты, устаревшие записи, конфликтующие идентичности, неполные связи и несогласованные схемы. Платформа должна определять, как эти источники связаны между собой, и постоянно повышать точность и уровень достоверности получаемых данных.

Технологический стек включает Python, Apache Spark, Prefect, AWS, Kubernetes, MongoDB, OpenSearch и FHIR, при этом AI всё активнее используется как в рамках инженерного цикла разработки, так и внутри самих решений по обработке данных.

• Проектировать, создавать и поддерживать масштабируемые пайплайны загрузки данных, которые обеспечивают приём данных о поставщиках медицинских услуг из систем EHR, национальных реестров, медицинских сетей и партнёрских источников.

• Преобразовывать разнородные исходные данные в стандартизированные, достоверные модели данных, включая FHIR-native ресурсы.

• Полностью отвечать за качество данных, включая правила валидации, пороговые значения качества, оценку достоверности, автоматический мониторинг и оповещения.

• Проектировать и реализовывать решения для разрешения сущностей (entity resolution), устранения дублирования, определения связей, классификации, обогащения данных и оценки качества данных.

• Создавать и развивать распределённые пайплайны обработки данных с использованием Python, Spark и современных технологий оркестрации.

• Повышать надёжность, масштабируемость, наблюдаемость и производительность пайплайнов, чтобы новые источники данных можно было подключать эффективно и безопасно.

• Устанавливать и развивать стандарты управления данными (data governance), включая схемы, промежуточные модели (staging models), процессы валидации и workflow для доработки данных.

• Проектировать и эксплуатировать решения для хранения и поиска данных, поддерживающие масштабные наборы медицинских данных.

• Создавать инструменты обработки данных на основе AI, повышающие точность, уровень автоматизации и интеллектуальность процессов обработки данных.

• Использовать современные инструменты AI-разработки как неотъемлемую часть инженерного процесса для ускорения реализации, тестирования, отладки, документирования и анализа данных.

• Отвечать за продакшн-эксплуатацию создаваемых вами решений, включая мониторинг, устранение неполадок, реагирование на инциденты и анализ первопричин.

• Сотрудничать с командами Analytics и Data Science для разработки дашбордов качества данных, метрик и отчётности.

• Взаимодействовать с заинтересованными сторонами из Product и Business для приоритизации источников данных и улучшений с учётом влияния на клиентов и бизнес.

• Участвовать в технических обзорах дизайна (design reviews) и помогать формировать масштабируемые инженерные паттерны в рамках более широкой платформы данных.

• 5+ лет профессионального опыта создания и эксплуатации интенсивных по данным backend- или data engineering систем в масштабе.

• Сильная практическая экспертиза в Python, включая разработку продакшн-уровня систем обработки данных и backend-сервисов.

• Значительный опыт проектирования и создания масштабируемых пайплайнов загрузки данных и ETL/ELT-процессов для больших и разнородных наборов данных.

• Хорошо развитая инженерная интуиция в области данных, включая моделирование данных, проектирование хранения, эволюцию схем, оптимизацию запросов, стратегии кэширования и выбор подходящих паттернов пакетной или потоковой обработки.

• Практический опыт работы с Apache Spark или Databricks для распределённой обработки данных.

• Опыт работы с технологиями оркестрации workflow, такими как Prefect, Apache Airflow или аналогичными.

• Глубокое понимание моделирования данных, проектирования схем, стратегий валидации, трансформации данных и управления качеством данных.

• Опыт проектирования решений для устранения дублирования данных, разрешения сущностей (entity resolution), обогащения данных, классификации или связывания записей (record linkage).

• Опыт работы как с реляционными, так и с документоориентированными базами данных; практические знания технологий, таких как MongoDB или сопоставимых NoSQL-платформ.

• Опыт работы с поисковыми технологиями, такими как OpenSearch, Elasticsearch или сопоставимыми решениями.

• Значительный опыт работы с AWS, включая такие сервисы, как S3, ECS/EKS, Lambda или эквивалентные cloud-native технологии.

• Практический опыт работы с Docker, Kubernetes, CI/CD и эксплуатацией cloud-native нагрузок в продакшене.

• Глубокое понимание вопросов продакшн-пайплайнов данных, включая надёжность, отказоустойчивость, наблюдаемость, мониторинг, оповещения и реагирование на инциденты.

• Опыт установления и поддержания стандартов управления данными (data governance), схем, правил валидации и повторяемых процессов доработки данных.

• Практический опыт использования AI-инструментов для разработки ПО в рамках регулярного цикла разработки.

• Выраженный подход с высокой степенью ответственности и способность самостоятельно выявлять проблемы в данных или инженерии, предлагать решения, реализовывать их и обеспечивать их работу в продакшене.

• Сильные коммуникативные навыки и способность напрямую взаимодействовать с инженерными, аналитическими, продуктовыми, data science командами и бизнес-стейкхолдерами.

• Профессиональный уровень английского языка, достаточный для прямого взаимодействия с командами, базирующимися в США.

• Опыт работы с медицинскими данными, HealthTech-платформами или в области интероперабельности в здравоохранении.

• Знание FHIR, в частности таких ресурсов, как Practitioner, Organization, PractitionerRole, Endpoint и Location.

• Опыт интеграции данных из систем EHR/EMR, медицинских реестров, сетей поставщиков медицинских услуг или аналогичных сложных экосистем данных.

• Опыт проектирования платформ данных, обрабатывающих PHI/PII или другую регулируемую и чувствительную информацию.

• Знакомство с вопросами защиты данных и безопасности в контексте HIPAA.

• Опыт создания решений по обработке данных на основе AI, в частности для разрешения сущностей (entity resolution), определения связей, классификации, обогащения данных, обнаружения аномалий или оценки качества данных.

• Практический опыт интеграции LLM в продакшн-процессы обработки данных, включая вопросы оценки, надёжности, задержки (latency), стоимости и защиты данных.

• Опыт работы с AI-инструментами для разработки, такими как Claude Code, GitHub Copilot, Cursor или аналогичными платформами.

В Intellias, где технологии занимают центральное место, люди всегда важнее процессов. Создавая комфортную атмосферу в нашей команде, мы помогаем людям раскрывать свой истинный потенциал и достигать выдающихся результатов. Именно поэтому мы предлагаем ряд льгот, которые поддерживают ваше благополучие и заряжают ваш профессиональный рост.

Мы привержены принципам равенства, разнообразия и инклюзивности как работодатель, предоставляющий равные возможности. Все кандидаты будут рассматриваться для найма без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или самовыражения, статуса ветерана или любой другой характеристики, защищённой применимым законодательством.

Мы приветствуем и ценим уникальность каждого человека. Присоединяйтесь к Intellias, чтобы построить карьеру, в которой ваши взгляды и вклад имеют значение для нашего общего успеха.