Lead Pyspark Developer

Откуда можно работать: Wroclaw, Польша
из текста вакансии
Уровень: Lead
указан работодателем
Даты: Видели у компании с 28.10 по 28.10 · закрыта 30.10
вакансия закрыта, проверки прекращены

Почему в каталоге:Основана выходцами из Восточной Европы, Кавказа и Центральной АзииПодробнее о компании →Основание проверено по источнику на карточке компании. Нанимает ли компания из Восточной Европы, Кавказа и Центральной Азии прямо сейчас, мы не знаем.

Показать оригинал

Описание переведено машинно с английского.

Что предстоит делать

Разрабатывать программные приложения на основе бизнес-требований
Поддерживать программные приложения и вносить улучшения в соответствии со спецификациями проекта
Участвовать в анализе требований, проектировании, разработке, тестировании и внедрении
Предлагать новые методики и технологии для разработки программного обеспечения.
Проводить модульное тестирование и приёмочное тестирование пользователями (UAT) для оценки функциональности приложений
Обеспечивать выполнение назначенных задач по разработке в установленные сроки
Работать в соответствии со стандартами кодирования и лучшими практиками
При необходимости помогать Junior Developers.
Проводить код-ревью и рекомендовать улучшения.
Анализировать бизнес-требования и рекомендовать изменения для разработки надёжных приложений.
Разрабатывать документацию по коду и другие технические спецификации для назначенных проектов.
Выступать основным контактным лицом по вопросам и проблемам разработки.
Точно анализировать и решать проблемы, возникающие при разработке.

Требования

Более 10 лет опыта в разработке на Pyspark с большими объёмами данных, включая Window Functions, Performance Optimization, Spark Architecture, Salting, Column Pruning
Обязателен опыт руководства командой разработки
Подтверждённый опыт работы Core Python разработчиком
Хорошее понимание Gen AI
Опыт разработки классов, ООП, обработки исключений, параллельной обработки
Глубокие знания в области подключения к БД, загрузки данных, преобразования, вычислений
Обширный опыт работы с dataframes в Pandas/Numpy, срезами, подготовкой данных (data wrangling), агрегациями
Lambda Functions, Decorators
Векторные операции над dataframes/series в Pandas
Применение функций apply map, apply, map
Конкурентность и обработка ошибок в пакетном конвейере данных (data pipeline) размером [1-10 гб]
Умение понимать бизнес-требования и переводить их в технические требования
Умение проектировать архитектуру конвейера данных (data pipeline) для параллельной обработки данных
Работа с системой контроля версий Git, сервис-ориентированная архитектура, включая умение учитывать интеграции с другими приложениями и сервисами
Отладка приложений

Будет плюсом

Знание технологий веб-бэкенда — Django, Python, PostgreSQL.
Apache Airflow

О компании Luxoft (DXC)

Luxoft основана в 2000 году в структуре российской IBS Group Дмитрием Лощининым и выросла в глобального поставщика заказной разработки и цифровой трансформации. Компания специализируется на финансовых сервисах, автомобильной электронике, телекоме и здравоохранении, обслуживает свыше 400 клиентов, включая 75 компаний из Fortune 500.

Что вакансия рассказывает о компании и команде

Surveillance Enhancement Program (SEP) — это многолетняя инициатива, направленная на разработку и совершенствование платформы надзора (surveillance) для выявления потенциальных недобросовестных действий, манипулирования и злоупотреблений на рынке. Наш клиент выполнил свои обязательства перед Financial Conduct Authority (FCA), удовлетворив в сентябре 2017 года требования Market Abuse Regulation (MAR) в отношении критически важных источников данных.

Впоследствии были запущены новые проекты для дальнейшего улучшения, расширения и дополнения существующей автоматизированной платформы надзора. Этот проект будет сосредоточен на улучшении оповещений, стратегическом получении данных из FM order and trade lakes, а также на улучшении пользовательского интерфейса и рабочих процессов для соблюдения нормативных обязательств, таких как Market Abuse Regulation и Dodd-Frank.

Кроме того, в объём работ входят улучшения, связанные с данными, интерфейсами и сценариями Control Room и Suitability Monitoring.

Что есть у компании

Этапы отбора: описаныКонтакты найма: есть, по подписке

Еще по теме

Навыки

PysparkWindow FunctionsPerformance OptimizationSpark ArchitectureSaltingColumn PruningPythonGen AIOOPSpandasNumPyLambda FunctionsDecoratorsGitDjangoPostgreSQLAirflow

Подходите ли вы под эту вакансию

Сверка вакансии с резюме доступна тем, кто вошел. Войти