23.10.2024
Team Lead Data Platform в компании Т-Банк
З/п не указана
Опыт работы: от 3 до 6 лет
Санкт-Петербург
Удаленная работа
Полная занятость
4 человека сейчас смотрят
Описание
Unicorn — это Streaming ETL инструмент, предназначенный для создания сложных near real time потоков данных решающих задачи критично важные для пользователей внутри T‑Bank. В фундаменте Unicorn лежит Apache Flink, функционал которого в рамках Unicorn сильно расширен, а подача конечному пользователю упрощена.Предпосылки появления продукта: отсутствие в T‑Bank инструмента для создания сложных near real time потоков данных, который бы не требовал глубокого пониманияJava/Scala/Python. Основным языком описания потоков является SQL.Основная цель:
- Сделать надежный инструмент для создания сложных near real time потоков данных с минимальным порогом вхождения, чтобы пользователи могли сосредоточится на решаемой бизнес-задаче, а не на «нюансах» инструмента.
- Предоставить конечным заказчикам DWH наиболее актуальные данные, которые в batch ETL достигнуть технически невозможно.
Обязанности:
В ходе работы над продуктом вам предстоит:
- совместно с product owner проекта определять направление движения развития и находить точки роста продукта — нам важна проактивность, наличие собственного мнения и гордости за свой проект у руководителя;
- управлять жизненным циклом разработки продукта — находить правильный баланс между фичами и инвестициями в технологическое развитие, осуществлять действия по ресурсному планированию на различную глубину (от спринта до квартала);
- формировать best-practices с продуктовой и технологической точки зрения — потоковая обработка данных отличается от «классического» подхода batch, и надо доносить это до потребителей и обозначать соответствующие правила игры;
- инвестировать во внутрикомандные процессы — поддерживать в команде правильную мотивацию и гордость за свой продукт, контроллировать эффективность процессов разработки и доставки данных;
- проектировать и реализовывать технологические интеграционные решения — наш продукт касается систем на базе технологий Kafka, GreenPlum, Cassandra, ClickHouse, и нам важно понимание особенностей их работы и нюансов взаимодействия кода проекта с этими системами;
Требования:
- Опыт руководства командой разработки.
- Опыт промышленной разработки ПО / платформ / платформ данных.
- Опыт работы со стриминговым ETL: Flink/Kafka.
- Опыт работы с HDFS/YARN и Cassandra приветствуется.
- Опыт работы с Helm/Kubernetes приветствуется.
Мы предлагаем:
- Работа в офисе или удаленно — по договоренности.
- Возможность работы в аккредитованной ИТ компании.
- Профессиональное развитие. Вы получите доступ к библиотеке с технической литературой, к тренингам и мастер-классам для сотрудников.
- Забота о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким.
- Бесплатный фитнес-зал или компенсация затрат на спортивные занятия.
Реклама. Информация о рекламодателе по ссылке в карточке.