Senior Data Engineer

Откуда можно работать: Удалённо · Германия
Английский: требования разнятся: B1–C1
по другим вакансиям компании
Уровень: Senior
указан работодателем
Даты: Опубликована 14.07 · видели у компании с 11.08 по 04.09 · закрыта 04.09
вакансия закрыта, проверки прекращены

Почему в каталоге:Основана выходцами из Восточной Европы, Кавказа и Центральной АзииПодробнее о компании →

Показать оригинал

Описание переведено машинно с английского.

Что предстоит делать

Что вы будете делать: поддерживать инфраструктуру DWH в здоровом состоянии и развивать архитектуру системы;
Разрабатывать и рефакторить сервис ETL (Airflow / Python);
Писать тесты (pytest);
Поддерживать устаревшие ETL‑конвейеры (Logstash);
Добавлять/изменять поставки данных из Kafka и API сторонних сервисов;
Создавать и изменять модели dbt для агрегатов и представлений;
Принимать участие в инициативах по снижению стоимости DWH (хранение, вычисления, конвейеры и модели);
Участвовать в ревью и командных встречах; сотрудничать с другими инженерными командами;
Поддерживать техническую документацию и Wiki в актуальном состоянии.

Требования

Что мы ожидаем: 3+ лет опыта работы Data Engineer;
Знание Python 3.9+, asyncio, pytest;
Опыт написания SQL‑запросов;
Умение работать с системой контроля версий Git;
Знание Docker, GitLab CI, Unix CLI;
Знание и практический опыт работы с Kafka;
Способность находить и решать проблемы;
Опыт работы с dbt и ClickHouse (или аналогичным OLAP) приветствуется;
Опыт оптимизации стоимости DWH: снижение расходов на хранение и вычисления через TTL/партиционирование, инкрементный ETL, оптимизацию SQL/OLAP‑моделей;
Умение измерять и объяснять влияние в терминах денег и ресурсов.

Будет плюсом

Жизненный цикл данных: горячее/холодное хранение, архивирование, политики удержания;
Опыт миграции и упрощения устаревшего ETL в более дешёвую и управляемую конфигурацию;
DBT: инкрементные модели, тесты роста объёма, контроль дорогих агрегатов.

Условия и бенефиты

Мы предлагаем: работу в международной компании;

Гибридный формат работы (офис/домашний офис);

Корпоративное образование – курсы и тренинги;

Добровольное медицинское страхование после испытательного срока;

Эффективная программа онбординга для лучшего старта;

Корпоративные мероприятия и тимбилдинги.

О компании Mitgo Group

Mitgo Group — управляющая компания группы платформ партнёрского маркетинга и монетизации, созданная в 2022 году на базе Admitad (основан в 2010-м). В группу входят Admitad, Takeads, Tapfiliate, Mobmio, ConvertSocial, FairSavings, CheckRewards и другие продукты, соединяющие рекламодателей с владельцами сайтов, блогерами и креаторами.

Что есть у компании

Этапы отбора: описаныКонтакты найма: есть, по подписке

Еще по теме

Навыки

AirflowPythonPytestLogstashKafkadbtClickHouseSQLGitDockerGitLabUnix CLIAsyncIOTTLpartitioningETLDWHOLAPREST APIGit version control

Подходите ли вы под эту вакансию

Сверка вакансии с резюме доступна тем, кто вошел. Войти