AI/ML Engineering Senior Data Scientist with Bayesian statistical analysis Senior Bulgaria, Croatia, Poland, Por... Remote

Присоединяйтесь к масштабной инициативе по созданию платформы данных и AI, направленной на модернизацию возможностей уровня предприятия и обеспечение принятия решений в реальном времени. Проект включает комплексную дорожную карту, охватывающую AI, MLOps, управление данными (data governance) и масштабируемость платформы, и поддерживает переход к операциям, ориентированным на данные, и интеллектуальной автоматизации.

• Настройка платформы. Совместно с командой платформы заказчика разверните и настройте среду Databricks в облачном аккаунте заказчика: каталог и разрешения, вычислительные ресурсы (включая GPU), секреты, отслеживание экспериментов.

• Безопасный приём данных. Создайте воспроизводимый процесс приёма необработанных результатов верификации и изображений документов: парсинг, псевдонимизация, проверки качества данных, работа со схемами.

• Feature engineering в масштабе. Реализуйте таблицы признаков: пакетные задачи по построению эмбеддингов изображений;

• точные и приблизительные ключи связывания;

• агрегаты по нескольким транзакциям и агрегаты скорости (velocity);

• псевдонимное разрешение сущностей (entity resolution).

• Поддержка моделирования. Реализуйте методы отбора признаков и кластеризации смешанных данных. Проводите сравнение моделей и тесты стабильности, а также поддерживайте запуски обучения моделей плотности.

• Автоматизация. Организуйте оркестрацию сквозного пайплайна как регулярно запускаемого, идемпотентного, повторно запускаемого рабочего процесса.

• Мониторинг. Настройте прототип мониторинга качества данных и дрейфа с оповещениями на таблицах признаков и скоров.

• Приватность. Реализуйте контроль доступа, поля происхождения данных (provenance), lineage и процедуру удаления на основе скриптов. Убедитесь, что необработанные персональные данные не попадают в аналитический слой.

• Документация и передача. Напишите runbooks и проведите живую демонстрацию, чтобы инженеры могли самостоятельно управлять всем решением

• PySpark & Spark SQL: разворачивание вложенного JSON (explode, structs), mapInPandas / pandas UDFs, оконные функции для агрегатов скорости и подсчёта уникальных значений, партиционирование и настройка производительности

• Databricks: Unity Catalog (каталоги, схемы, гранты, маски столбцов, теги, lineage), внешние расположения на S3, политики кластеров / вычислений, включая GPU, Auto Loader, Delta (MERGE, time travel, VACUUM), Workflows, Repos, secret scopes

• AWS: S3, роли IAM / instance profiles, расшифровка KMS в задачах, Secrets Manager, базовое понимание затрат

• Data engineering для ML: проектирование Medallion (Bronze / Silver / Gold), эволюция схем, идемпотентные загрузки, профилирование DQ, Feature Engineering в UC (таблицы признаков)

• Псевдонимизация в пайплайнах: токенизация HMAC с ключами для каждого типа ключа, нормализация (Unicode NFKD, регистр, token sort), фонетические ключи, никогда не логировать необработанные значения, удаление на основе скриптов (DROP / VACUUM / уничтожение секретов)

• Entity resolution (реализация): blocking / генерация кандидатов с точными и приблизительными ключами, допуск по расстоянию редактирования, оценки совпадения, суррогатные ID, подсчёт конфликтов вместо слияния

• Обработка изображений в масштабе: запуск пакетной GPU-задачи, которая расшифровывает, обрезает и строит эмбеддинги изображений в памяти (PyTorch / timm), PCA, LSH bucketing

• Кластеризация смешанных данных: практический опыт: kmodes (k-prototypes), gower + kmedoids с сэмплированием, R kamila на Databricks, StepMix (latent class), bootstrap ARI

• Отбор признаков: взаимная информация (mutual information), удаление коррелирующих признаков, PCA. Умение запускать поиск BPSO / GA с помощью mealpy

• MLOps и мониторинг: эксперименты и реестр MLflow (алиасы), Lakehouse Monitoring (метрики профиля и дрейфа на таблицах Delta), SQL alerts, PSI / JS divergence

• Передача: пишет runbooks и документацию уровня README. Оставляет единый сквозной Workflow, который сможет запустить другой человек

• Опыт работы с JSON-выводами AssureID / верификации личности.

• PyOD и базовое обучение в PyTorch (для поддержки A по VAE на 2-й неделе).

В Intellias, где технологии занимают центральное место, люди всегда важнее процессов. Создавая комфортную атмосферу в нашей команде, мы помогаем каждому раскрыть свой потенциал и добиваться выдающихся результатов. Поэтому мы предлагаем ряд льгот, которые поддерживают ваше благополучие и способствуют вашему профессиональному росту.

Мы стремимся поддерживать равенство, разнообразие и инклюзивность как работодатель равных возможностей. Все кандидаты будут рассматриваться без дискриминации по признаку расы, цвета кожи, религии, возраста, пола, национальности, инвалидности, сексуальной ориентации, гендерной идентичности или её выражения, статуса ветерана или любых других характеристик, защищённых применимым законодательством.