Lead Pyspark Developer

Последующие проекты были запущены для дальнейшего улучшения, расширения и дополнения существующей автоматизированной платформы наблюдения. Этот проект будет сосредоточен на улучшении оповещений, стратегическом получении данных из FM order и trade lakes, а также на улучшении пользовательского интерфейса и рабочих процессов для соблюдения нормативных обязательств, таких как Market Abuse Regulation и Dodd-Frank.

Кроме того, в объем работ входят улучшения, связанные с данными, интерфейсами и сценариями Control Room и Suitability Monitoring.

• Разрабатывать программные приложения на основе бизнес-требований
• Поддерживать программные приложения и вносить улучшения в соответствии со спецификациями проекта
• Участвовать в анализе требований, проектировании, разработке, тестировании и внедрении
• Предлагать новые методы и технологии для разработки программного обеспечения.
• Проводить модульное тестирование и приёмочное тестирование пользователями (UAT) для оценки функциональности приложений
• Обеспечивать выполнение назначенных задач по разработке в установленные сроки
• Работать в соответствии со стандартами кодирования и лучшими практиками
• При необходимости помогать Junior Developers.
• Проводить code review и рекомендовать улучшения.
• Анализировать бизнес-требования и рекомендовать изменения для разработки надёжных приложений.
• Разрабатывать документацию по коду и другие технические спецификации для назначенных проектов.
• Выступать основным контактным лицом по вопросам и проблемам, связанным с разработкой.
• Точно анализировать и решать проблемы разработки.

• Более 10 лет опыта в разработке на Pyspark с интенсивной обработкой данных, Window Functions, Performance Optimization, Spark Architecture, Salting, Column Pruning
• Обязателен опыт руководства командой разработки
• Подтверждённый опыт работы Core Python разработчиком
• Хорошее понимание Gen AI
• Опыт разработки классов, ООП, обработки исключений, параллельной обработки
• Глубокие знания в области подключения к БД, загрузки данных, преобразования, вычислений
• Обширный опыт работы с dataframes в Pandas/Numpy, срезами, data wrangling, агрегациями
• Lambda Functions, Decorators
• Векторные операции над dataframes/series в Pandas
• Применение функций apply map, apply, map
• Конкурентность и обработка ошибок в пакетном конвейере данных (data pipeline) с размером пакета [1-10 gb]
• Умение понимать бизнес-требования и преобразовывать их в технические требования
• Умение проектировать архитектуру конвейера данных (data pipeline) для параллельной обработки данных
• Работа с системой контроля версий Git, сервис-ориентированная архитектура, включая умение учитывать интеграции с другими приложениями и сервисами
• Отладка приложений

• Знание backend-технологий для веба — Django, Python, PostgreSQL.
• Apache Airflow