О компании
SoftServe предоставляет инженерные и технологические услуги для корпоративных клиентов.
Обязанности
- Проектировать, строить и оптимизировать масштабируемые решения для работы с данными на AWS, используя Databricks, включая архитектуры Lakehouse с Delta Lake и Unity Catalog.
- Разрабатывать пакетную и потоковую обработку данных с использованием Apache Spark, Flink, Kafka, Amazon MSK и Kinesis.
- Руководить интеграцией и миграцией данных (сопоставление источников и целей, загрузка, трансформация и обеспечение качества данных).
- Определять архитектуру платформы данных, моделирование данных и лучшие практики инженерии для масштабируемости, надежности и долгосрочной поддерживаемости.
- Создавать и управлять автоматизированными рабочими процессами и потоками данных, используя Databricks Workflows, Apache Airflow, MWAA, Snowflake и Amazon Redshift.
- Наставлять команды по инженерии данных и переводить бизнес-требования в технические решения, дорожные карты и планы доставки.
Требования
- Подтвержденный опыт работы в качестве ведущего инженера по данным с созданием масштабируемых платформ и потоков данных.
- Практический опыт пакетной и потоковой обработки данных с использованием Apache Spark, Flink, Kafka, Amazon MSK или Kinesis.
- Углубленные знания AWS и Databricks, включая Delta Lake, Unity Catalog, Workflows и Jobs.
- Продвинутый уровень SQL и знание Python (предпочтительно), Scala или Java.
- Опыт организации рабочих процессов данных с использованием Databricks Workflows, Apache Airflow или MWAA.
- Уровень английского языка не ниже среднего.
Условия и бенефиты
- Модель работы: удаленно/офис.
- Сотрудничество в инновационной среде на всех этапах жизненного цикла решения.
- Возможность изучать новые технологии и делиться знаниями в инженерном сообществе.
- Лидерская роль с возможностью наставничества и поддержки команды.
