Data Engineering Lead Data Engineer (healthcare solution) Principal Bulgaria, Colombia, Croatia, P... Remote

Для этой роли необходимы как глубокая практическая инженерная экспертиза, так и широкое техническое влияние: создание повторно используемых фреймворков и стандартов, наставничество для опытных инженеров и повышение инженерной планки всей команды.

Мы помогаем американской цифровой медицинской платформе навести порядок в медицинских данных её пациентов: результатах анализов, диагнозах, лекарствах, визитах и не только. Данные поступают из множества разных клиник и лабораторий, у каждой из которых свой формат, поэтому сейчас они довольно хаотичны. Наша задача — очищать и стандартизировать эти данные как можно ближе к источнику, собрать разрозненную логику в одном месте и ежедневно видеть реальное качество данных, а не гадать. Дата-инженеры будут работать преимущественно в Databricks/Spark, создавая пайплайны, справочные данные и проверки качества вместе с командой разработки и клиническими экспертами.

• Определять техническое направление развития инженерии медицинских данных на всех этапах: загрузка, преобразование, валидация, нормализация и доставка.

• Отвечать за сквозную архитектуру масштабных распределённых конвейеров данных, которые преобразуют разнородные исходные данные в чистые данные в формате FHIR, соответствующие стандартам.

• Проектировать и развивать масштабируемые решения с использованием Python, Spark/PySpark, Databricks/Delta Lake и современных технологий обработки данных.

• Диагностировать и устранять сложные узкие места производительности и масштабируемости в распределённых рабочих нагрузках обработки данных.

• Создавать стандарты и повторно используемые фреймворки для качества данных, дедупликации, связывания пациентов/записей, нормализации терминологии и надёжной идемпотентной обработки.

• Определять архитектурные паттерны для преобразования в FHIR, валидации, эволюции схем и доставки в продакшен.

• Создавать и развивать возможности автоматизированного тестирования и валидации качества данных и соответствия FHIR.

• Создавать инженерные паттерны и повторно используемые инструменты, которые позволяют всей команде быстрее и более последовательно реализовывать новые возможности для работы с медицинскими данными.

• Продвигать инженерные практики, безопасные с точки зрения PHI, и обеспечивать соответствие решений для медицинских данных применимым требованиям безопасности, конфиденциальности и комплаенса.

• Сделать AI-native инженерию практической частью модели разработки в команде: использовать coding-агентов и повторно используемые AI-возможности для автоматизации рутинной работы и ускорения сложных инженерных задач.

• Establish инженерные ограничения (guardrails) для разработки с помощью AI, обеспечивая, чтобы решения, созданные AI, оставались корректными, протестированными, безопасными, наблюдаемыми и безопасными с точки зрения PHI.

• Определять, где детерминированная обработка обеспечивает большую надёжность, чем подходы на основе AI/LLM, и устанавливать подходящие архитектурные паттерны для обоих вариантов.

• Наставлять Senior- и Middle-инженеров с помощью дизайн-ревью, парной работы, технических консультаций и обмена знаниями.

• Вести сложные, неоднозначные инженерные задачи от первичного исследования через архитектуру и реализацию до эксплуатации в продакшене.

• Взаимодействовать с заинтересованными сторонами из инженерии, продукта, безопасности, данных и медицинской предметной области, чтобы превращать сложные требования к интероперабельности в масштабируемые технические решения.

• Представлять сильные практики инженерии медицинских данных в соответствующих обсуждениях архитектуры, стандартов и технических вопросов.

• 8+ лет профессионального опыта в дата-инжиниринге, на платформах медицинских данных, в HealthTech или в области интероперабельности в здравоохранении.

• Подтверждённая технической ответственности уровня Lead за сложные продакшен-системы, включая умение определять техническое направление и решать задачи, охватывающие несколько компонентов и инженерных команд.

• Сильная практическая экспертиза в Python и в дата-инжиниринге продакшен-уровня.

• Глубокий опыт работы с Apache Spark/PySpark в больших масштабах, включая партиционирование, оптимизацию производительности, настройку памяти и распределённую обработку.

• Опыт работы с современными lakehouse-технологиями, такими как Databricks и Delta Lake, или с аналогичными платформами.

• Серьёзный опыт проектирования и эксплуатации масштабных ETL/ELT-конвейеров, включая CDC, инкрементальную/дельта-обработку, идемпотентность, эволюцию схем и пакетные/потоковые нагрузки.

• Подтверждённый опыт диагностики и устранения сложных узких мест производительности и масштабируемости в распределённых системах обработки данных.

• Глубокий практический опыт работы с FHIR R4, включая ресурсы, профили, Bundles, валидацию и крупномасштабное преобразование медицинских данных.

• Хорошее знание US Core, USCDI, HL7 v2.x и паттернов преобразования C-CDA в FHIR.

• Хорошее понимание стандартов медицинской терминологии, включая SNOMED CT, LOINC и RxNorm.

• Опыт работы с клиническими данными, данными о страховых требованиях (claims), покрытии, праве на получение услуг (eligibility) или с аналогичными моделями медицинских данных.

• Серьёзный опыт в области качества данных, дедупликации, связывания записей/пациентов, нормализации терминологии и валидации.

• Хорошие навыки SQL и понимание моделирования данных, эволюции схем, качества данных и архитектуры продакшен-данных.

• Опыт работы с Git, CI/CD, автоматизированным тестированием, наблюдаемостью (observability) и эксплуатацией в продакшене.

• Глубокое понимание требований к безопасности, конфиденциальности и регулированию в здравоохранении, включая HIPAA и инженерные практики, безопасные с точки зрения PHI.

• Подтверждённое умение создавать повторно используемые инженерные фреймворки, архитектурные паттерны, стандарты и практики обеспечения качества данных, которые принимаются другими инженерами.

• Продемонстрированное техническое лидерство через архитектурные/дизайн-ревью, наставничество, парную работу и межкомандное инженерное влияние.

• Практический опыт использования AI-агентов для написания кода, таких как Claude Code, или аналогичных агентных инженерных инструментов как неотъемлемой части жизненного цикла разработки.

• Хорошее инженерное суждение о том, когда использовать подходы на основе AI/LLM, а когда — детерминированные решения на основе правил, особенно там, где критичны корректность, стоимость, производительность или безопасность PHI.

• Профессиональный английский, достаточный для прямого взаимодействия с техническими и бизнес-стейкхолдерами из США.

• Глубокий опыт крупномасштабного моделирования данных FHIR и работы с платформами интероперабельности в здравоохранении.

• Опыт работы с Master Patient Index (MPI), сопоставлением пациентов, разрешением идентичности (identity resolution) или крупномасштабным связыванием записей.

• Опыт работы с обменом данными между плательщиками (payer data exchange), включая CARIN Blue Button, руководства по внедрению Da Vinci или аналогичные стандарты.

• Опыт работы с аптечными, лабораторными или другими специализированными наборами медицинских данных.

• Знание ICD-10, CPT, CVX и дополнительных систем клинической терминологии/кодов.

• Опыт работы с 21st Century Cures Act, сертификацией ONC, CMS Interoperability Rule или связанными нормативными рамками здравоохранения США.

• Опыт создания возможностей на основе LLM/агентов для извлечения клинических данных, нормализации, сопоставления терминологии или обеспечения качества медицинских данных.

• Опыт проектирования повторно используемых AI-навыков (skills) или агентных рабочих процессов, принятых в инженерных командах.

• Вклад в open-source проекты в сфере здравоохранения, в сообщества FHIR/HL7 или в соответствующие отраслевые рабочие группы.

В Intellias, где технологии играют ключевую роль, люди всегда важнее процессов. Создавая комфортную атмосферу в команде, мы помогаем каждому раскрыть свой потенциал и добиваться выдающихся результатов. Поэтому мы предлагаем ряд льгот, которые поддерживают ваше благополучие и стимулируют ваш профессиональный рост.

Мы стремимся поддерживать справедливость, разнообразие и инклюзивность как работодатель, предоставляющий равные возможности. Все кандидаты будут рассматриваться без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или самовыражения, статуса ветерана или любых других признаков, защищённых применимым законодательством.

Мы приветствуем и ценим уникальность каждого человека. Присоединяйтесь к Intellias ради карьеры, в которой ваши взгляды и вклад жизненно важны для нашего общего успеха.