Data Engineer

Ajax Systems — міжнародна технологічна компанія, найбільший в Європі розробник і виробник систем безпеки із можливостями розумного дому.

Це ціла екосистема зі 180 пристроїв, мобільних і десктопних застосунків, серверної інфраструктури.

Data Engineer приєднається до Data-команди, що займається підготовкою та обробкою даних для машинного навчання та відео аналітики. У цій ролі спеціаліст відповідатиме за розробку і підтримку масштабованих конвеєрів даних, особливо в частині, що стосується задач комп'ютерного зору. 

Основні обов'язки:

- Проєктування та реалізація end-to-end пайплайнів для збору, збереження, обробки та передачі даних (зображень, анотацій тощо) для тренування та валідації моделей глибокого навчання.

- Підготовка та вдосконалення великих датасетів для Computer Vision:

очистка даних, аугментація зображень, балансування вибірок, приведення анотацій до потрібного формату.

- Налаштування та керування інструментами оркестрації пайплайнів (Dagster, Apache Airflow або аналогічні) для автоматизації ETL/ELT процесів.

- Інтеграція з хмарною інфраструктурою (AWS) для зберігання даних (наприклад, Amazon S3) та виконання обчислень; забезпечення ефективної доставки даних у середовище навчання моделей.

- Використання фреймворків глибокого навчання (наприклад, PyTorch або TensorFlow) для підготовки та первинного аналізу даних; можливе створення допоміжних скриптів для запуску тестових навчань або обчислення ембеддінгів.

- Співпраця з командами машинного навчання та розробниками CV-моделей: забезпечення, щоб дані відповідали вимогам моделей, участь у процесі відлагодження моделей через покращення даних.

- Впровадження кращих практик щодо якості даних та версіонування датасетів; моніторинг якості даних на кожному етапі пайплайну.

- Співпраця з командою розмітки для забезпечення доставки якісних даних.

Необхідні скіли:

- Досвід (2+ роки) в галузі Data Engineering або суміжній сфері. Впевнене володіння мовою Python та основними бібліотеками для обробки даних (Pandas, NumPy тощо) та зображень (OpenCV, PIL).

- Практичний досвід побудови ETL/ELT конвеєрів обробки даних; вміння працювати з системами оркестрації (Dagster, Apache Airflow або подібні) для автоматизації дата-процесів.

- Комп'ютерний зір (CV): 

практичний досвід роботи з наборами даних (COCO, YOLO), форматами анотацій і їх конвертацією.

розуміння роботи інструменту для розмітки даних.

вміння розгорнути готову модель CV (детекція, сегментація, класифікація) з відкритих репозиторіїв чи pre-trained чекпоїнтів, адаптувати під власні дані й інтегрувати в пайплайн;

досвід роботи з PyTorch або TensorFlow для fine-tuning, інференсу та підготовки даних;

розуміння transfer learning і адаптації архітектур під конкретні задачі.

- Трансформери та VLLM, Vision Transformers (ViT):

практичний досвід використання сучасних архітектур (ViT, DETR, Segment Anything тощо);

робота з VLLM (large vision & language models);

застосування для автоматизації обробки даних (генерація додаткової розмітки, валідація анотацій, класифікація чи попередній відбір даних).

- Навички оптимізації та відлагодження pipeline: моніторинг, логування, усунення неполадок у процесі обробки даних.

- Інструментарій: впевнена робота з системою контролю версій (Git), Docker/Kubernetes, а також базове розуміння MLOps практик MLflow/DVC.

Буде плюсом:

- Розуміння хмарних технологій, зокрема сервісів AWS для роботи з даними (S3, RDS/Redshift, Lambda, IAM тощо);

досвід побудови та підтримки дата-процесів у хмарному середовищі.

- Знання SQL та досвід роботи з PostgreSQL;

оптимізація запитів, робота з великими масивами даних;

базові знання NoSQL або Data Warehouse систем — плюс.

Пропонуємо:

- можливість пропонувати та реалізовувати власні ідеї, які мають вплив на продукт і виробництво;

- роботу у вмотивованій команді та zero bullshit culture;

- гнучкий графік роботи в офісі (Київ);

- конкурентну заробітну плату;

- медичне страхування;

- корпоративну англійську мову;

Ajax — свобода бути інженером