Baş Data Mühəndisi

43 baxış

İnnovasiya və Rəqəmsal İnkişaf Agentliyi (İDDA)

Vəzifənin Təsviri

Rəqəmsal İnkişaf Konsepsiyasından irəli gələn Məlumat Hövzəsi platformasının data təməlinin qurulması, inkişaf etdirilməsi və idarə olunması, həmçinin mürəkkəb və müxtəlif informasiya sistemlərindən məlumatların platformaya inteqrasiyasının təmin edilməsi.
Vəzifə sahibi Data Mühəndisliyi, Data Arxitekturası və Data İdarəçiliyi prinsiplərinə əsaslanaraq məlumatların inteqrasiyası, modelləşdirilməsi, keyfiyyətinin təmin edilməsi, metadata və lineage idarəçiliyinin qurulması, eləcə də federativ və müasir data idarəetmə yanaşmalarının tətbiqində iştirak edəcəkdir.

Əsas Öhdəliklər və Vəzifələr

Milli Data Lakehouse platformasının data arxitekturasının və data inteqrasiya həllərinin layihələndirilməsi və inkişaf etdirilməsi;
Müxtəlif və mürəkkəb struktura malik informasiya sistemlərindən məlumatların batch və real-time/CDC rejimlərində platformaya inteqrasiyasının təmin edilməsi;
Apache Spark, Kafka, DBT, Airflow və digər müasir data texnologiyalarından istifadə etməklə yüksək performanslı və miqyaslana bilən ETL/ELT pipeline-larının layihələndirilməsi, hazırlanması və optimallaşdırılması;
Məlumatların keyfiyyətinin, bütövlüyünün və ardıcıllığının təmin edilməsi, Data Profiling, Data Quality və Data Validation mexanizmlərinin qurulması;
Data Governance/Data Management platformaları ilə işləmək, metadata management, data catalog, data lineage və data quality proseslərinin tətbiqində iştirak etmək;
Müxtəlif mənbələrdən daxil olan məlumatların inteqrasiyası, transformasiyası, təmizlənməsi və uyğunlaşdırılması;
Data Warehouse, Data Lake və Data Lakehouse mühitləri üçün effektiv data modellərinin və data martlarının hazırlanması;
Data modelləşdirmə üzrə Kimball, Inmon və Data Vault yanaşmalarının tətbiqi və müvafiq həllərin layihələndirilməsi;
Data Mesh, Federated Data Architecture və digər data idarəetmə və arxitektura yanaşmalarının araşdırılması və tətbiqində iştirak;
Məlumatların təhlükəsizliyi, məxfiliyi, PII masking, RBAC/ABAC və digər data security prinsiplərinin data platformasına inteqrasiyası;
DataOps, CI/CD və Infrastructure-as-Code prinsiplərinin data pipeline və platforma komponentlərinə tətbiqi;
Data platformasının performansının, dayanıqlığının və miqyaslana bilməsinin təmin edilməsi;
Texniki standartların hazırlanması, arxitektura qərarlarının sənədləşdirilməsi və komanda üzvlərinə texniki mentorluğun göstərilməsi

Tələblər

İT, Kompüter Elmləri və ya əlaqəli sahə üzrə bakalavr/magistr dərəcəsi;
Data Mühəndisliyi, Data Arxitekt və ya əlaqəli sahədə minimum 5–7 il peşəkar iş təcrübəsi;
Dərin SQL və Python bilikləri; PySpark və Pandas ilə praktiki təcrübə;
Apache Spark, Kafka, DBT, Airflow və müasir open-source data texnologiyaları ilə zəngin iş təcrübəsi;
Data Lake, Data Warehouse və Data Lakehouse arxitekturaları üzrə dərin bilik;
Mürəkkəb, heterogen və yüksək həcmli məlumat mənbələri ilə işləmə təcrübəsi;
ETL/ELT, batch processing, streaming və CDC yanaşmaları üzrə praktiki biliklər;
Data modelling üzrə Kimball, Inmon və Data Vault metodologiyalarında dərin bilik və praktiki təcrübə;
Data Governance, Data Quality, Metadata Management və Data Lineage prinsipləri üzrə güclü bilik;
Data Management/Governance platformaları ilə iş təcrübəsi və praktiki təcrübə;
Data Mesh, Federated Data Architecture və müasir data governance yanaşmaları üzrə anlayış və praktiki təcrübə üstünlükdür;
Entity Resolution, Master Data Management (MDM) və məlumatların uyğunlaşdırılması üzrə təcrübə üstünlükdür;
Docker, Kubernetes, Git və CI/CD alətləri ilə işləmə bacarığı;
Məlumat təhlükəsizliyi, məxfilik və data access management prinsipləri üzrə bilik;
Güclü analitik və sistemli düşüncə, mürəkkəb texniki problemləri həll etmək bacarığı;
Azərbaycan dili – səlis, İngilis dili – əla; Rus dili – arzuolunandır.