Intellias

Senior Data Scientist – AI/ML Engineering – Data Scientist – Senior – Remote – Bulgaria, Croatia, Poland, Portugal, Spain

• Platform setup. С командой платформы заказчика подготовьте и настройте среду Databricks в облачном аккаунте заказчика: каталоги и разрешения, вычислительные ресурсы (включая GPU), секреты, отслеживание экспериментов.
• Secure data ingestion. Постройте повторяемый процесс загрузки необработанных выводов верификации и изображений документов: парсинг, псевдонимизация, проверки качества данных, обработка схем.
• Feature engineering at scale. Реализуйте таблицы признаков: пакетные задачи по встраиванию изображений; точные и приближённые ключи связывания; агрегаты по транзакциям и скорости; псевдонимизированное разрешение сущностей.
• Modelling support. Реализуйте методы выбора признаков и кластеризации смешанных данных. Проводите сравнение моделей и тесты стабильности, а также поддерживайте обучение плотностных моделей.
• Automation. Оркеструйте сквозной конвейер как запланированный, идемпотентный, повторно запускаемый workflow.
• Monitoring. Настройте прототип мониторинга качества данных и дрейфа с оповещениями для таблиц признаков и оценок.
• Privacy engineering. Реализуйте контроль доступа, поля происхождения, прослеживаемость и скриптованную процедуру удаления. Убедитесь, что необработанные персональные данные не попадают в аналитический слой.
• Documentation and handover. Напишите runbook и проведите живой walkthrough, чтобы инженеры могли самостоятельно эксплуатировать всё.

• PySpark & Spark SQL: разворачивание вложенного JSON (explode, structs), mapInPandas / pandas UDFs, оконные функции для агрегатов скорости и уникального счёта, партиционирование и настройка производительности
• Databricks: Unity Catalog (каталоги, схемы, гранты, маски столбцов, теги, прослеживаемость), внешние локации на S3, политики кластеров / вычислений включая GPU, Auto Loader, Delta (MERGE, time travel, VACUUM), Workflows, Repos, области секретов
• AWS: S3, IAM роли / профили экземпляров, расшифровка KMS в заданиях, Secrets Manager, базовое понимание стоимости
• Data engineering for ML: дизайн Medallion (Bronze / Silver / Gold), эволюция схем, идемпотентные загрузки, профилирование DQ, Feature Engineering в UC (таблицы признаков)
• Pseudonymisation in pipelines: токенизация HMAC с ключами per‑key‑type, нормализация (Unicode NFKD, регистр, сортировка токенов), фонетические ключи, отсутствие логирования сырых значений, скриптованное удаление (DROP / VACUUM / уничтожение секретов)
• Entity resolution (implementation): блокировка / генерация кандидатов с точными и приближенными ключами, допуск по расстоянию редактирования, оценки совпадения, суррогатные ID, подсчёт конфликтов вместо слияния
• Image processing at scale: запуск GPU‑пакетного задания, которое расшифровывает, обрезает и встраивает изображения в памяти (PyTorch / timm), PCA, LSH‑бакетизация
• Mixed-data clustering: практический опыт: kmodes (k‑prototypes), gower + kmedoids с выборкой, R kamila на Databricks, StepMix (latent class), бутстрэп ARI
• Feature selection: взаимная информация, отбор по корреляции, PCA. Возможность запуска поиска BPSO / GA с mealpy
• MLOps & monitoring: эксперименты и реестр MLflow (алиасы), Lakehouse Monitoring (профиль и метрики дрейфа на Delta‑таблицах), SQL‑оповещения, PSI / JS‑дивергенция
• Handover: написание runbook‑ов и документации уровня README. Оставление единого сквозного Workflow, который может запустить другой человек

• Опыт работы с AssureID / identity‑verification JSON outputs.
• PyOD и базовое обучение PyTorch (для поддержки A на VAE во 2‑й неделе).

Мы привержены развитию равенства, разнообразия и инклюзивности как работодатель с равными возможностями. Все соискатели будут рассматриваться без дискриминации по расе, цвету кожи, религии, возрасту, полу, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или выражению, статусу ветерана или любой другой характеристике, защищённой применимым законодательством. Мы приветствуем и ценим уникальность каждого человека. Присоединяйтесь к Intellias для карьеры, где ваши взгляды и вклад имеют решающее значение для нашего совместного успеха.