У заказчика выясняю, какая витрина или отчёт нужны, проектирую поток и смотрю, какие данные уже есть. Настраиваю сбор из источников и собираю витрину на ClickHouse, PostgreSQL, Kafka, Hadoop и PySpark, оркестрация в Airflow. Витрину забирает аналитик и рисует дашборд.
Для директора по данным сделал почасовой отчёт о качестве и стабильности данных по всей системе: взвешенная оценка показывает, насколько данные актуальны.
сентябрь 2023 — март 2024
Сбер
Data Engineer
Витрины HR-аналитики на PostgreSQL и Greenplum. Контроль качества данных, код-ревью и выкладка релизов.
июнь 2022 — сентябрь 2023
НИУ ВШЭ
Python Developer
REST API и схема базы для маркетплейса игровых активов. Серверная часть системы управления 3D-принтерами.