Data engineer – Network telemetry & analytics

Мы ищем Data engineer для технической исследовательской команды, работающей над ограниченной беспроводной сенсорной сетью. Роль сосредоточена на преобразовании разнородных телеметрических данных сети в надёжное, готовое к анализу представление поведения сети во времени. Вы будете тесно сотрудничать с Network Architects, Network/Embedded Engineers и ML Engineers для оценки готовности данных, восстановления состояний сети, установления базовых уровней качества данных и подготовки наборов данных для сетевой аналитики, моделирования и экспериментов по проверке применимости ML.

• Инвентаризация доступной сетевой телеметрии, исторических данных, API и выходов симулятора
• Анализ схем телеметрии, идентификаторов, меток времени и взаимосвязей данных
• Оценка исторического охвата, полноты, согласованности и качества данных
• Выявление отсутствующих полей, ненадёжных измерений и пробелов в данных
• Определение, какие дополнительные инструменты измерения или маркировка событий могут потребоваться
• Работа с Network Engineers для понимания семантики телеметрии, генерируемой сетью
• Извлечение и нормализация данных из множества источников телеметрии
• Объединение данных по устройствам, шлюзам, ретрансляторам, каналам и сетевым событиям
• Синхронизация разнородных временных рядов с использованием идентификаторов устройств/сетей и меток времени
• Корреляция телеметрии с: изменениями топологии, изменениями маршрутов, отказами каналов, подтверждениями, переподключениями, потерей пакетов, доступностью узлов, состоянием батареи, нагрузкой сети
• Проектирование надёжных схем для сетевой телеметрии и данных событий
• Создание готового к анализу представления состояния сети во времени.
• Представление снимков/событий сети, включая: узлы, каналы, пути/маршруты, топологию, ёмкость, нагрузку, качество канала, состояние узла
• Разработка наборов данных, подходящих для офлайн‑анализа, экспериментов и будущей разработки ML‑моделей
• Поддержка создания временных и событийных наборов данных для гипотез о деградации, ёмкости и обслуживании сети
• Расчёт и валидация базовых KPI сети из доступной телеметрии
• Выявление репрезентативных состояний сети и исторических паттернов отказов/деградации
• Анализ распределений задержки, надёжности, нагрузки сети и качества канала
• Выявление паттернов данных, связанных с ухудшенными или ограниченными состояниями сети
• Работа с ML Engineers для определения, достаточны ли доступные данные для предиктивного моделирования
• Помощь в установке детерминированных/статистических базовых уровней перед рассмотрением подходов ML
• Работа с Network/Embedded Engineers для понимания выходов симулятора и форматов данных
• Подготовка данных, сгенерированных симулятором, для анализа и сравнения с реальной телеметрией
• Поддержка согласования симулированных и полевых измерений
• Помощь в выявлении различий между распределениями симулированных и реальных данных
• Поддержка сбора и обработки данных контролируемых экспериментов
• Автоматизация повторяемых процессов подготовки данных и аналитических рабочих потоков

• 4+ лет профессионального опыта в Data Engineering, Data Analytics Engineering или смежной области
• Сильный опыт работы с временными рядами и данными, основанными на событиях
• Практический опыт построения конвейеров данных для телеметрии, IoT, инфраструктуры, промышленных систем или других распределённых систем
• Отличные навыки SQL и опыт работы с большими или разнородными наборами данных
• Отличные навыки Python для обработки, трансформации и анализа данных
• Опыт нормализации, объединения, агрегации и валидации данных из множества источников
• Глубокое понимание меток времени, последовательности событий и синхронизации временных данных
• Опыт выявления и обработки отсутствующих, несогласованных и шумных данных
• Опыт проектирования аналитических моделей данных, подходящих для downstream‑аналитики и ML
• Способность понимать поведение технической системы и переводить его в значимые структуры данных
• Умение работать с неполной документацией и развивающимися системами

• Опыт работы с сетевой телеметрией или данными мониторинга сети
• Опыт работы с IoT / беспроводными / сенсорными сетями.
• Опыт работы с: RSSI, SNR, packet loss, latency, network topology, routing, device availability, battery telemetry
• Опыт работы с распределёнными системами и архитектурами, основанными на событиях
• Опыт работы с графовыми/сетевыми моделями данных
• Опыт подготовки наборов данных для экспериментов ML/AI
• Опыт работы с сетевыми симуляторами, цифровыми двойниками или синтетическими данными
• Опыт работы с облачными платформами телеметрии
• Опыт в телекоммуникациях, IoT, робототехнике, промышленных системах или оборонных технологиях
• Опыт работы с AWS или GCP будет плюсом
• Python
• SQL
• PostgreSQL / TimescaleDB или аналогичные базы данных временных рядов
• Data warehouses / data lakes
• REST APIs
• JSON / структурированные форматы телеметрии
• Системы потоковой обработки событий
• Pandas / PyArrow или эквивалентные инструменты обработки данных
• Облачные сервисы данных
• Git

Отправьте кандидата через реферальную программу и получите бонус за успешную рекомендацию!