Big Data / ETL Engineer

Что мы предлагаем:
- Испытательный срок — до 2х месяцев (можно закрыть быстрее);
- График работы гибкий;
- Удаленный формат работы из любой точки мира;
- Развитая корпоративная культура;
- Оплата GPT, Claude, JetBrains;
- Внутренняя передача знаний по ончейн-рынку и аналитике.

Задачи:
- Разрабатывать и оптимизировать ETL-пайплайны для обработки больших объемов данных (ClickHouse, Kafka, Airflow, Python);
- Настраивать и поддерживать стабильную работу потоков данных между системами и сервисами;
- Оптимизировать производительность хранилищ и запросов, устранять узкие места инфраструктуры;
- Проектировать и внедрять алгоритмы детекции аномалий и анализа данных;
- Следить за качеством данных: валидация, дедупликация, контроль целостности;
- Подготавливать данные для аналитических моделей и внутренних исследований (R&D);
- Участвовать в развитии архитектуры системы и автоматизации процессов;
- Взаимодействовать с CTO и командой инженеров, документировать решения и процессы.

Чего мы ожидаем:
- ClickHouse (шардинг, репликация, агрегирующие движки, партиции, TTL, оптимизация);
- Опыт работы с бигдатой (ТБ+, миллиарды строк);
- Python (pandas/numpy) + создание и поддержка ETL/ELT-пайплайнов;
- Оркестрация данных: Apache Airflow (DAG, Sensors, Operators, XCom);
- Опыт применения на практике алгоритмов для отслеживания выбросов: статистические (z-score, iqr, q-test), машинное обучение без учителя (DBSCAN / HDBSCAN, Isolation Forest);
- Интеграция с потоковыми/сырьевыми данными: Kafka или аналог, ingestion → трансформация → загрузка;
- Опыт работы с ончейн-данными: события блокчейна, calldata, трейсы, Web3 API;
- Архитектурная дисциплина: понимание схем данных, partitioning, latency/throughput, мониторинг и качество данных;
- Контейнеризация, CI/CD, автоматизация развертываний.

Будет плюсом:
- Rust (или готовность изучать);
- Kafka / Prefect / Arrow / Parquet;
- Опыт продакшена с ончейн-аналитикой или трейдинг-данными;
- DDD / CQRS / event-sourcing — если интересуешься архитектурой;
- Активный GitHub / pet-проекты в data-инженерии.