Team Lead Data Platform в компании Т-Банк

Описание

Unicorn  — это Streaming ETL инструмент, предназначенный для создания сложных near real time потоков данных решающих задачи критично важные для пользователей внутри T‑Bank. В фундаменте Unicorn лежит Apache Flink, функционал которого в рамках Unicorn сильно расширен, а подача конечному пользователю упрощена.Предпосылки появления продукта: отсутствие в T‑Bank инструмента для создания сложных near real time потоков данных, который бы не требовал глубокого пониманияJava/Scala/Python. Основным языком описания потоков является SQL.Основная цель:

• Сделать надежный инструмент для создания сложных near real time потоков данных с минимальным порогом вхождения, чтобы пользователи могли сосредоточится на решаемой бизнес-задаче, а не на «нюансах» инструмента.
• Предоставить конечным заказчикам DWH наиболее актуальные данные, которые в batch ETL достигнуть технически невозможно.

Обязанности:

В ходе работы над продуктом вам предстоит:

• совместно с product owner проекта определять направление движения развития и находить точки роста продукта — нам важна проактивность, наличие собственного мнения и гордости за свой проект у руководителя;
• управлять жизненным циклом разработки продукта — находить правильный баланс между фичами и инвестициями в технологическое развитие, осуществлять действия по ресурсному планированию на различную глубину (от спринта до квартала);
• формировать best-practices с продуктовой и технологической точки зрения — потоковая обработка данных отличается от «классического» подхода batch, и надо доносить это до потребителей и обозначать соответствующие правила игры;
• инвестировать во внутрикомандные процессы — поддерживать в команде правильную мотивацию и гордость за свой продукт, контроллировать эффективность процессов разработки и доставки данных;
• проектировать и реализовывать технологические интеграционные решения — наш продукт касается систем на базе технологий Kafka, GreenPlum, Cassandra, ClickHouse, и нам важно понимание особенностей их работы и нюансов взаимодействия кода проекта с этими системами;

Требования:

• Опыт руководства командой разработки.
• Опыт промышленной разработки ПО / платформ / платформ данных.
• Опыт работы со стриминговым ETL: Flink/Kafka.
• Опыт работы с HDFS/YARN и Cassandra приветствуется.
• Опыт работы с Helm/Kubernetes приветствуется.

Мы предлагаем:

• Работа в офисе или удаленно — по договоренности.
• Возможность работы в аккредитованной ИТ компании.
• Профессиональное развитие. Вы получите доступ к библиотеке с технической литературой, к тренингам и мастер-классам для сотрудников.
• Забота о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким.
• Бесплатный фитнес-зал или компенсация затрат на спортивные занятия.