О компании
Мы разрабатываем IT-продукт, который включает в себя масштабную веб-платформу и интерактивный Telegram-бот / Мини-приложение.
Обязанности
- Разработка и поддержка процессов ETL/ELT на основе Airflow и dbt Core
- Интеграция новых источников данных: PostgreSQL, внешние API и сервисы
- Разработка существующего дата-склада на ClickHouse и поддержка аналитических панелей
- Оптимизация SQL-запросов и производительности пайплайнов
- Поддержка и развитие инфраструктуры аналитической платформы (Docker, Airflow, dbt)
- Сотрудничество с аналитиками для реализации новых панелей, метрик и источников данных
- Участие в расследовании инцидентов, связанных с качеством данных и производительностью пайплайнов
- Ведение технической документации и участие в передаче знаний внутри команды
Требования
- Опыт работы в качестве инженера по данным не менее трех лет
- Глубокие знания SQL и опыт работы с аналитическими СУБД
- Практический опыт работы с ClickHouse: проектирование таблиц, выбор движка, партиционирование, оптимизация запросов
- Опыт разработки и поддержки процессов ETL/ELT: способность самостоятельно выбирать метод интеграции источников данных, проектировать структуру загрузки, хранения и обновления данных с учетом бизнес-требований и технических ограничений
- Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG, понимание механизмов планирования, зависимостей и мониторинга пайплайнов
- Опыт работы с dbt Core
- Хорошие знания Python: умение понимать существующий код, модифицировать и разрабатывать новые компоненты интеграций и пайплайнов
- Опыт работы с PostgreSQL и понимание особенностей инкрементального экспорта данных
- Опыт интеграции внешних REST API
- Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose
- Способность самостоятельно декомпозировать задачи и доводить их до завершения
Условия и бенефиты
- Удаленный формат работы
- Часовой пояс: MSK
Как откликнуться
Пожалуйста, отправьте свое резюме на https://t.me/katyacheresh
