“Bizim məlumatlar təmiz deyil” cümləsi hər CDO görüşündə eşidilir. Problem ondadır ki “təmiz” mücərrəd anlayışdır. Verilənlərin keyfiyyətini həqiqətən idarə etmək istəyirsinizsə, ölçülə bilən altı ölçü çərçivəsindən keçməlisiniz: doğruluq, tamlılıq, ardıcıllıq, vaxtında olma, tək olma, etibarlılıq. Hər birinin konkret düsturu və gündəlik əməliyyatda yoxlana bilən forması var.
Altı ölçü, altı metrik
- Doğruluq (Accuracy): qeydlərin real dünya ilə üst-üstə düşməsi. Metrik: doğrulana bilən mənbə ilə (məsələn şəxsiyyət xidməti, IBAN doğrulayıcı) uyğunlaşan qeydlərin faizi.
- Tamlılıq (Completeness): məcburi sahələrin doldurulması. Metrik: not-null oranı + biznes şərtli doldurulma.
- Ardıcıllıq (Consistency): eyni varlığın fərqli sistemlərdə eyni görünməsi. Metrik: mənbə sistemlər arası uyğunsuz qeydlərin faizi.
- Vaxtında olma (Timeliness): məlumatın gözlənilən təzəlikdə hazır olması. Metrik: SLA-ya qarşı mənbədən analitik qatına axın gecikməsi p95.
- Tək olma (Uniqueness): eyni varlığın təkrarlanmaması. Metrik: deterministik və probabilistik dublikasiya faizi.
- Etibarlılıq (Validity): dəyərin tip/format/aralıq qaydalarına uyğunluğu. Metrik: schema/regex/aralıq pozuntuları.
Avtomatlaşdırma alətləri
dbt-nin native testləri (unique, not_null, accepted_values, relationships) ilk qapını açır; mürəkkəb biznes qaydaları custom singular testlərə yazılır. Great Expectations və ya Soda Core, dbt-dən asılı olmayan axınlar üçün idealdır (məsələn Snowflake-ə xam yüklənmədən əvvəl). dbt + Soda transformasiya boru xəttinin hər nöqtəsində nəzarət imkanı verir.
Data Contract yanaşması
2026-da yetkinləşən paradiqma: istehsalçı (producer) ilə istehlakçı (consumer) arasında imzalanmış müqavilə. Producer schema dəyişdiyində consumer-ı pozmayacağına dair sınanan kontrakt verir. Açıq mənbəli tətbiqlər yetkinləşdi; Schemata və Datacontract.com şablonları öndədir.
İstehsal SLA-sı
Rəqəmləri dashboard-a qoymaq kifayət deyil. Hər ölçü üçün hədd + xəbərdarlıq + sahib üçlüsü olmalıdır: doğruluq 95%-in altına düşərsə hansı komanda nə vaxt cavab verir, kim eskalasiya edir. SLO yanaşması məlumat komandalarına da çatdı; reliability mühəndisliyi artıq məlumat tərəfində də real intizamdır.
